Обучение ChatGPT потребовало объем воды, сопоставимый с башней охлаждения АЭС

Популярные модели больших языковых систем (LLMs), такие как ChatGPT от OpenAI и Google Bard, требуют много энергии и огромных серверных ферм для обеспечения необходимого количества данных для обучения мощных программ. А охлаждение этих серверных центров требует огромное количество воды. Новые исследования показывают, что только для обучения GPT-3 было использовано 700 000 литров воды. Согласно подсчетам средний чат пользователя с ChatGPT эквивалентен выливанию на землю большой бутылки воды. Учитывая беспрецедентную популярность чатбота, исследователи опасаются, что вся эта вода может оказать негативное воздействие на ресурсы, особенно в условиях исторических засух и грозящих экологических проблем в США.

Исследователи из Университета Колорадо Риверсайд и Университета Техаса в Арлингтоне опубликовали оценки потребления воды ИИ в предварительной версии статьи под названием "Делаем ИИ менее 'жаждущим'". Авторы обнаружили, что количество чистой пресной воды, необходимой для обучения GPT-3, эквивалентно количеству воды, необходимому для заполнения башни охлаждения атомного реактора. OpenAI не раскрывает время, необходимое для обучения GPT-3, что усложняет оценки исследователей, но Microsoft, которая заключила многолетнее партнерство на многие миллиарды долларов с ИИ-стартапом и построила суперкомпьютеры для обучения ИИ, сообщает, что его последний суперкомпьютер содержит 10 000 видеокарт и более 285 000 процессорных ядер, что дает представление о масштабе операции за искусственным интеллектом. Это огромное количество литров могло бы произвести аккумуляторные батареи для 320 автомобилей Tesla.

Огромное количество воды, необходимое для обучения ИИ, также предполагает, что обучение происходит в передовом американском дата-центре Microsoft, построенном специально для OpenAI. Если бы данные обучались в менее энергоэффективном дата-центре компании в Азии, потребление воды, как отмечается в отчете, могло бы быть в три раза больше. Исследователи ожидают, что потребности в воде для новых моделей, таких как недавно выпущенный GPT-4, которые опираются на больший набор данных, чем их предшественники, только увеличатся.

Как чатботы используют воду?

При расчете потребления воды ИИ исследователи различают "изъятие" и "потребление" воды. В первом случае речь идет о физическом изъятии воды из реки, озера или другого источника, а во втором — о потере воды путем испарения при использовании в дата-центрах. Исследование использования воды ИИ в основном сосредоточено на аспекте потребления, где вода не может быть повторно использована.

Охлаждение серверных комнат — постоянная задача, поскольку серверы выделяют огромное количество тепловой энергии. Для поддержания оптимальной температуры используются башни охлаждения, которые испаряют холодную воду. Однако для этого требуются огромные объемы воды. Исследователи оценивают, что примерно пять литров воды расходится на каждый киловатт-час, затрачиваемый в среднем дата-центре. Используется именно чистая пресная вода, чтобы избежать коррозии или развития бактерий, что может произойти при использовании морской воды. Пресная вода также необходима для контроля влажности в серверных комнатах. Исследователи также обращают внимание на воду, необходимую для генерации больших объемов электроэнергии, потребляемой дата-центрами, что ученые назвали "косвенным внешним потреблением воды".

Проблемы с потреблением воды касаются не только OpenAI или ИИ-моделей. В 2019 году Google запросил более 10 миллиардов литров воды для дата-центров только в трех штатах. В настоящее время компания имеет 14 дата-центров на территории Северной Америки, которые используются для обеспечения работы Google Search, набора продуктов для офиса и, в последнее время, больших языковых моделей LaMDA и Bard. Согласно недавнему исследовательскому докладу, только для обучения LaMDA может потребоваться миллионы литров воды, больше, чем для GPT-3, потому что несколько дата-центров Google расположены в жарких штатах, таких как Техас. Однако исследователи сделали оговорку с этой оценкой, назвав ее "приблизительной точкой отсчета".

Помимо воды, новые LLM также требуют поразительного количества электроэнергии. В прошлой неделе был опубликован доклад Стэнфордского исследования ИИ, в котором рассматривались различия в энергопотреблении четырех видных ИИ-моделей, и было оценено, что обучение GPT-3 OpenAI привело к выбросу 502 метрических тонн углерода. В целом, энергия, необходимая для обучения GPT-3, могла бы обеспечить электроэнергией дом среднестатистического американца на сотни лет.

Гонка за обеспечением дата-центров всем необходимым только раскачивается, и это может оказать серьезное воздействие на наши водные и энергетические ресурсы. Нам нужно найти способы уменьшить этот 'водный след' и снизить энергопотребление, если мы хотим, чтобы наши продвинутые ИИ-технологии были устойчивыми и не приводили к вреду окружающей среде.

В недавнем заявлении OpenAI признала, что энергопотребление и использование воды являются важными проблемами и что компания работает над снижением воздействия своих моделей на окружающую среду. Они также заявили, что инвестируют в разработку более энергоэффективных и водосберегающих алгоритмов для будущих моделей.

В своем исследовании ученые предлагают ряд возможных решений, которые могут помочь снизить водный след ИИ, таких как использование теплообменников с замкнутой системой, что позволит воде циркулировать без потерь. Кроме того, компании могут разрабатывать и использовать более энергоэффективное оборудование, а также проводить обучение моделей в местах с более низкой температурой, что сократит необходимость активного охлаждения.

С учетом всей популярности ИИ-технологий, таких как ChatGPT и других больших языковых моделей, совершенствование и снижение водного следа этих систем становится все более важным. Отрасль ИИ должна активно искать возможности улучшить свои методы и снизить воздействие на окружающую среду, чтобы гарантировать устойчивое развитие технологий, которые являются неотъемлемой частью нашего будущего.