Anthropic предложила глобально замедлить разработку ИИ из-за риска самоулучшающихся систем

Anthropic выступила с предложением к ведущим лабораториям рассмотреть замедление темпов развития ИИ.

В блоге под названием When AI builds itself (Когда ИИ создает сам себя) компания предупредила, что современные системы приближаются к моменту, когда смогут совершенствоваться без участия человека.

Авторами текста выступили глава внутренних исследований Марина Фаваро и сооснователь компании, отвечающий за политику, Джек Кларк.

В основе тревоги лежит концепция рекурсивного самоулучшения, при котором ИИ способен самостоятельно проектировать и создавать более совершенную версию себя. Anthropic отметила, что этого пока не произошло и сценарий не выглядит неизбежным, однако момент "может наступить раньше, чем к нему будут готовы большинство институтов".

Сама по себе такая технология сулит огромную пользу в науке и медицине, но одновременно повышает риск утраты людьми контроля над системами.

Свои выводы Anthropic подкрепила внутренними данными об ускорении собственной разработки. По заявлению компании, её инженеры в среднем выпускают в восемь раз больше кода за квартал, чем в период с 2021 по 2025 год, а около 80% кода теперь пишет ИИ. Надёжная длина задач, которые модель выполняет без ошибок, удваивается каждые четыре месяца, а закрытая версия Claude Mythos Preview ускорила работу над кодом для обучения ML-моделей в 52 раза.

Предложенное решение сводится к скоординированной паузе или замедлению.

Мы считаем, что для мира было бы хорошо иметь возможность замедлить или временно приостановить разработку передового ИИ, чтобы общественные структуры и исследования в области выравнивания успевали за развитием технологии.

Реализовать такой сценарий можно лишь при участии нескольких хорошо обеспеченных лабораторий из разных стран, прежде всего США и Китая.

Ключевой проблемой Anthropic называет проверяемость договорённостей. Без механизмов контроля одни участники могли бы тайно продолжить разработку и вырваться вперёд, пока другие соблюдают паузу. Компания сравнила задачу с договорами об ограничении ядерного оружия, но признала, что здесь всё сложнее, так как "обучающие запуски куда легче скрыть, чем ракетные шахты".

Часть наблюдателей восприняла обращение скептически из-за его сроков. На этой неделе Anthropic конфиденциально подала в SEC форму S-1 для выхода на биржу, при этом оценка по итогам размещения может превысить один триллион долларов, а последний частный раунд оценил компанию примерно в 965 миллиардов.

Критики, среди которых профессор Уортонской школы Итан Моллик, расценили публикацию как смесь маркетинга, саморефлексии и искренних опасений.

Отдельные претензии вызвал и ограниченный выпуск кибербезопасной модели Mythos. Anthropic объяснила доступ узкому кругу партнёров тем, что способность модели быстро находить уязвимости в чужих руках может нанести серьёзный ущерб. Оппоненты увидели в этом либо способ подогреть интерес к продукту, либо намерение продавать его только крупнейшим корпорациям.

Программист собрал браузерный клон League of Legends с помощью ИИ Claude Opus 4.8 меньше чем за день

Берни Сандерс предложил передать 50% акций крупнейших ИИ-компаний США в общественную собственность

Само предложение опирается на работу Anthropic Institute, исследовательского подразделения, созданного в марте. Его задача состоит в том, чтобы сообщать миру о проблемах, возникающих по мере создания всё более продвинутых систем, а вместе с партнёрами институт изучает, что потребуется для надёжной паузы или замедления. В ближайшие месяцы Anthropic планирует обсудить тему с политиками, исследователями и другими разработчиками, а итоги этих разговоров пообещала опубликовать.