Широкое внедрение ИИ, которое еще по-настоящему и не начиналось, должно очень сильно увеличить потребление электроэнергии, - если, конечно, архитектура компьютеров останется прежней. Ответ на типичный запрос к ChatGPT потребляет 10 килоджоулей — в десять раз больше, чем тратили поисковики.
«Снижение потребления энергии является ключевым фактором развития искусственного интеллекта — в противном случае мы увидим остановку его разработки», — говорят, например, научные сотруднике Intel Labs. Энергетика - это стена, в которую очень скоро упрутся разработчики ИИ, если подход к искусственному интеллекту будет основан просто на масштабировании современных моделей.
Уже в ближайшие годы для центров обработки данных нужно будет строить кластеры, которые будут потреблять десятки гигаватт энергии. Это сравнимо с мощностью самых больших электростанций в мире, - то есть всей энергии какой-нибудь Саяно-Шушенской ГЭС едва хватит на обучение одной супербольшой языковой модели. Недаром Гугл и Амазон срочно пытаются обеспечить свои центры обработки данных ядерной энергией. Это, видимо, станет одной из важных причин скорого возвращения моды на атомную энергию, – никаких возобновляемых источников, по оценкам недавнего исследования, на ИИ-революцию не хватит.
И это я еще даже не начинал ныть про парниковые газы и углеродный след.
Так что же, все пропало? Главных надежд сейчас две: нейроморфные и квантовые компьютеры. Обе технологии находятся на стадии испытания лабораторных образцов, которые показывают очень хорошие результаты в экспериментах, но для ограниченного круга задач.
Нейроморфные процессоры многими чертами своей архитектуры подражают нейросетям нашего мозга, – и, так же, как мозг, потребляют удивительно мало энергии. Например, в компьютерах с традиционной архитектурой очень много энергии тратится на непрерывный обмен данными между памятью и процессором, - а в нейроморфных системах это одно и то же. Нейроморфные процессоры особенно хороши в мобильных устройствах, - там, где требуется потоковая обработка информации в реальном времени.
Квантовые компьютеры тоже показывают чудеса энергоэффективности, – но только там, где квантовые вычисления гораздо эффективней обычных, - а таких задач и алгоритмов пока придумали совсем немного (но очень возможно, что скоро еще напридумывают).