ИИ-агенты потребляют в 136 раз больше энергии на запрос, чем обычные чатботы

Проблема энергопотребления генеративного ИИ обсуждается уже давно из-за нагрузки на электросети. Однако агентный ИИ способен потреблять несравнимо больше ресурсов.

Новое исследование Корейского передового института науки и технологий (KAIST) попыталось оценить "скрытые издержки" ИИ-агентов и выяснило, что они могут расходовать до 136,5 раза больше энергии на один запрос по сравнению с генеративными моделями.

Такая разница объясняется логикой работы этих систем. Обычный запрос к большой языковой модели работает по принципу вопрос-ответ, когда человек вводит запрос, а модель выдает результат. Агентный ИИ же требует множества шагов для выполнения команды. По словам исследователей, агент вынужден постоянно обращаться к своей модели, генерируя новые ответы по мере того, как рассуждает над всеми этапами поставленной задачи.

В результате возникает мультипликативный эффект. Согласно расчетам, ИИ-агент на базе языковой модели масштаба большинства коммерчески доступных решений потребляет в среднем 348,41 ватт-часа на запрос. Это примерно эквивалентно тому, чтобы держать светодиодную лампочку включенной целые сутки. Данный показатель, по оценке авторов, примерно в 136,5 раза выше, чем энергозатраты одного генеративного запроса.

Последствия агентного ИИ выходят за рамки одного лишь энергопотребления. В работе также рассмотрели задержку ответа и обнаружили, что агентный ИИ может выполнять задачу в 153,7 раза дольше стандартного запроса. Это имеет значение, ведь длительное время отклика занимает вычислительные ресурсы. Пока агент раз за разом обращается к модели, графический процессор может больше простаивать, чем работать.

Исследователи оценивают, что GPU могут бездействовать до 54,5% времени, пока агент выполняет задачу, создавая уровень неэффективности, который отсутствует в более простых сценариях использования ИИ.

Компании экономят на ИИ, заставляя его говорить как пещерный человек

Все это было бы не так критично, если бы агентный ИИ оставался лишь концепцией в лаборатории. На деле такие системы уже повсюду, и точного представления о том, сколько агентов сейчас работает, нет. А технокомпании вроде Google начали встраивать агентный ИИ прямо в процесс просмотра веб-страниц.

Авторы также смоделировали будущее, в котором ИИ-агенты генерируют 13,7 миллиарда запросов в день, что примерно соответствует объему, который сейчас обрабатывает поиск Google. Без серьезного роста энергоэффективности это, по их оценке, создаст спрос на около 198,9 гигаватта мощности, что примерно равно половине всего текущего энергопотребления США.