Anthropic предупредила инвесторов о скором рекурсивном самоулучшении ИИ

Anthropic заявила, что может вплотную приблизиться к рекурсивному самоулучшению искусственного интеллекта (recursive self-improvement, RSI). Предупреждение об этом появилось в обновлённой версии формы S-1/A, которую компания опубликовала в понедельник, 2 ноября. Изменение в разделе "Факторы риска" первым заметило издание TechCrunch.

Форма S-1 – это регистрационный документ, который подают в Комиссию по ценным бумагам и биржам США (SEC) перед выходом на биржу, а S-1/A – его исправленная редакция. В разделе о рисках эмитент обязан перечислить всё, что способно повлиять на бизнес и стоимость акций. Так что новая формулировка адресована в первую очередь потенциальным инвесторам.

Под рекурсивным самоулучшением понимают ситуацию, в которой компьютерная система сама совершенствует себя. Улучшенная версия снова улучшает саму себя, цикл повторяется, и темп прогресса растёт. Похожая идея давно лежит в основе рассуждений о технологической сингулярности.

Применительно к современному ИИ термин RSI остаётся довольно размытым. Конкретики в него за последние годы добавили онлайн-сообщества рационалистов и сторонников эффективного альтруизма, например форум LessWrong. Само понятие выросло из более раннего термина "зародышевый ИИ" (seed AI), который ввёл Элиезер Юдковский, один из самых известных сторонников идеи о катастрофических рисках ИИ.

Версия документа от 26 октября уже содержала раздел о темпах "ускорения за счёт ИИ". В новой редакции Anthropic добавила к нему следующий фрагмент.

[...] наши внутренние оценки и наши ожидания относительно будущих моделей, а не нынешних, указывают на то, что мы можем в ближайшее время достичь определения "резко ускоренного прогресса, обусловленного ИИ", закреплённого в нашей Политике ответственного масштабирования.

Связь этой формулировки с RSI в документе прописана прямо. Ускорение прогресса силами самого ИИ Anthropic называет "одной из областей, охватываемых нашей Политикой ответственного масштабирования, в которой изложены наши планы по мониторингу и снижению рисков по мере приближения к тому, что называют "рекурсивным самоулучшением"".

Собственный термин компании при этом опирается на куда более чёткий порог. Согласно Политике ответственного масштабирования (Responsible Scaling Policy), речь идёт об удвоении базовых темпов прогресса, и это удвоение должно правдоподобно объясняться вкладом ИИ.

Оперативная память подорожала вдвое с 2020 года, и даже старая DDR4 больше не выручает

Илон Маск высмеял Сэма Альтмана за слова о том, что оперативной памяти не место в домашних ПК

Достижение этого порога влечёт за собой серьёзные обязательства по предотвращению катастроф, связанных с ИИ.

Anthropic обещает:

• Исследовать амбициозные и, возможно, нетрадиционные способы достижения беспрецедентного уровня безопасности

• Обеспечить полный контроль над всеми внутренними процессами, который в политике назван принципом "глаза на всём"

• Довести ред-тиминг, то есть целенаправленные атаки собственных специалистов на системы компании, до такого уровня, чтобы отпала необходимость в программах вознаграждения за найденные уязвимости

Anthropic уточняет, что предупреждение основано на внутренних оценках будущих моделей, а не на возможностях уже выпущенных систем. Если прогноз оправдается, все перечисленные меры безопасности придётся внедрять в ближайшее время.