Google заявила, что новая технология обучения ИИ в 13 раз быстрее и в 10 раз энергоэффективнее

Google DeepMind — исследовательская лаборатория ИИ Google, опубликовала новое исследование по обучению ИИ-моделей, которое, как утверждается, значительно ускоряет процесс обучения и повышает энергоэффективность на порядок, обеспечивая производительность в 13 раз выше и энергоэффективность в 10 раз выше, чем другие методы. Новый метод обучения JEST появился очень вовремя, учитывая растущие дискуссии о влиянии дата-центров ИИ на окружающую среду.

Метод DeepMind, названный JEST (joint example selection), отличается от традиционных методов обучения ИИ-моделей тем, что фокусируется на обучении на основе целых пакетов данных, а не отдельных точек данных. JEST сначала создает меньшую модель ИИ, которая оценивает качество данных из высококачественных источников, ранжируя пакеты по качеству. Затем он сравнивает эту оценку с большим набором данных более низкого качества. Небольшая модель JEST определяет пакеты, наиболее подходящие для обучения, и затем большая модель обучается на основе результатов меньшей модели.

Исследователи DeepMind подчеркивают в своей работе, что эта "способность направлять процесс выбора данных в сторону распределения меньших, хорошо курируемых наборов данных" — ключевая для успеха метода. DeepMind утверждает, что "наш подход превосходит современные модели, требуя до 13 раз меньше итераций и в 10 раз меньше вычислений".

Конечно, эта система полностью зависит от качества обучающих данных, так как техника бутстрэппинга не работает без набора данных высочайшего качества, отобранного человеком. Если на входе будет мусор, то ждать на выходе алмаз — абсурдно. Это делает метод JEST гораздо более сложным для любителей или начинающих разработчиков ИИ, чем большинство других методов, так как потребуются требуются экспертные навыки исследования для отбора начальных обучающих данных высшего качества.

Исследование JEST появилось очень вовремя, так как технологическая индустрия и правительства мира начинают обсуждения чрезвычайно высоких требований ИИ к энергопотреблению. В 2023 году рабочие нагрузки ИИ потребляли около 4,3 ГВт, что почти соответствует годовому потреблению энергии Кипра. И ситуация определенно не замедляется: один запрос ChatGPT потребляет в 10 раз больше энергии, чем поиск Google, а генеральный директор Arm оценивает, что к 2030 году ИИ будет потреблять четверть электроэнергии в США, если не будут предложены новые варианты развития.

Пока непонятно, если и как методы JEST будут приняты основными игроками в сфере ИИ. Сообщается, что обучение GPT-4o стоило 100 миллионов долларов, а будущие более крупные модели вскоре преодолеют отметку в миллиард долларов, так что логично, если компании будут искать способы сэкономить. Оптимисты думают, что методы JEST будут использоваться для поддержания текущих темпов обучения при гораздо меньшем энергопотреблении, снижая затраты на ИИ и помогая планете. Однако более вероятно, что машина капитала продолжит работать на полную мощность, используя методы JEST для поддержания максимального энергопотребления для сверхбыстрого обучения.