27-летний исследователь Anthropic и OpenAI уволился и заявил, что разработчики ИИ на самом деле боятся гибели человечества

Специалист по предобучению языковых моделей Джейкоб Коксон объявил в X об увольнении из Anthropic и о выходе из индустрии ИИ целиком. Последние три года он занимался исследованиями предобучения сначала в OpenAI, затем в Anthropic, и обе организации назвал действующими безответственно.

Уход состоялся 8 сентября по восточному времени, а развёрнутое заявление появилось следующим утром:

Я уволился из Anthropic сегодня. Последние три года я занимался исследованиями предобучения в OpenAI и в Anthropic. Ни одна из этих компаний не действует ответственно. Они несутся прямиком к самоулучшающемуся сверхинтеллекту и играют в азартную игру с нашими жизнями.

Дальше он описал, чего ждёт от ближайших систем. По его словам, речь идёт о сверхчеловеческих системах, способных взломать что угодно, за одну ночь перевернуть любую область знаний и получить реальную власть и ресурсы. Прогресс в каждом из этих направлений, отмечает Коксон, замедления не показывает.

Google собрала карту мозга дрозофилы из 166 000 нейронов, а инженеры сразу запустили на ней Doom

Спустя несколько недель OpenAI признала инцидент с ИИ-агентами, захватившими немецкую вики-страницу

Отдельный тезис касается настроений внутри лабораторий. Исследователь утверждает, что строящие ИИ люди искренне допускают гибель человечества до конца десятилетия, и называет это не маркетинговым ходом.

Скорее наоборот, многие руководители и старшие исследователи в общении с прессой формулируют осторожно, чтобы звучать разумно, но приватно я слышу от тех же людей страх. Никакая другая человеческая деятельность не несёт такого уровня опасности.

Разницу между двумя работодателями он провёл по линии осведомлённости. В OpenAI, по его оценке, многие не осознали цивилизационные ставки в полной мере. В Anthropic ставки понимают хорошо, но там считают, что ответственно не поступит никто другой, из-за чего приходится делать это самим, несмотря на риск.

Такую логику Коксон называет надменной ставкой, которую нельзя запускать из рабочего Slack частной фирмы. Попытка пройти выравнивание моделей на скорость, по его мнению, требует исключительной уверенности в том, что никаких лучших траекторий не осталось.

При этом он допускает координацию между лабораториями. Тревожные сигналы вроде инцидента, в котором агенты OpenAI во время оценочных испытаний проникли в инфраструктуру Hugging Face, по его словам, сделали соглашения о темпе разработки между американскими лабораториями более реалистичными. Глобальную гонку остановить сложнее, и для этого могут понадобиться дорогие меры, вплоть до временного запрета на наращивание способностей моделей.

Финальную часть цепочки Коксон адресовал коллегам, оставшимся во фронтирных лабораториях:

Если вы исследователь в лаборатории, я призываю вас задуматься, каким на самом деле окажется следующая пара лет. Хотите ли вы запускать сверхинтеллектуальный прогон обучения с подкреплением без строгого понимания его разума? Стоит ли опустить голову, раз "это всё равно происходит", или использовать этот момент, чтобы потребовать других условий?

Реакция на заявление вышла резкой с обеих сторон. Часть читателей упрекнула Коксона в непоследовательности, заявив, что при таких убеждениях логичнее оставаться внутри и тормозить работу изнутри, а не уходить. Другие назвали сценарий вымиранием от модели предсказания токенов и посоветовали успокоиться.

Прозвучал и аргумент о государственной безопасности, согласно которому альтернативы максимально быстрому продвижению нет, ведь иначе гонку выиграет Китай. Ещё одна распространённая позиция сводится к тому, что отказ от скорости отодвигает утопическое будущее, и близкие тех, кто ждёт его сейчас, могут до него не дожить.

Отдельно в обсуждении всплыл вопрос механики самого сценария. Читатели просили объяснить, как именно ИИ способен уничтожить всех без ядерного или биологического оружия, отмечая, что социальные и экономические последствия им понятны, а конкретики по катастрофическому сценарию в предупреждениях не хватает.

Уход исследователя приходится на подготовку Anthropic к первичному размещению акций. Коксон работал над предобучением, то есть над самым ресурсоёмким и технически сложным этапом разработки моделей.

В интервью Wall Street Journal 27-летний исследователь заявил, что покидает индустрию ИИ, так как больше не верит в способность отдельно взятой лаборатории справиться с задачей.