Anthropic заявила, что её ИИ пересёк порог рекурсивного самоулучшения

Anthropic на прошлой неделе без лишней огласки сообщила, что её технологии пересекли порог, после которого компания должна вводить дополнительные меры предосторожности. Речь идёт о рекурсивном самоулучшении, то есть о теоретической точке, когда ИИ начинает совершенствовать сам себя.

При этом технологическая сингулярность в офисах Anthropic, судя по всему, не наступила. Заявление относится к внутренним процедурам компании и основано на прогнозах, а не на зафиксированном технологическом прорыве.

Информация появилась в форме S-1, которую Anthropic подала в Комиссию по ценным бумагам и биржам США (SEC) при подготовке к IPO. В версии документа от 2 ноября компания писала, что "может в ближайшее время достичь" критериев, которые её Политика ответственного масштабирования (Responsible Scaling Policy) называет "резко ускоренным прогрессом, обусловленным ИИ".

В другом разделе той же версии говорилось, что Политика ответственного масштабирования, помимо прочего, описывает "планы по отслеживанию и снижению рисков по мере приближения к тому, что называют рекурсивным самоулучшением". Anthropic представила эту политику ещё в 2023 году. Она задаёт уровни безопасности ИИ, а также пороги возможностей моделей, при достижении которых компания обязуется усиливать меры защиты.

В обновлённой версии S-1 от 10 ноября формулировку о "резко ускоренном прогрессе" убрали. Вместо неё в документе говорится, что соответствующий порог уже считается достигнутым:

…мы уже используем системы ИИ, чтобы ускорять исследования и разработки, а наши внутренние оценки показывают, что темпы развития возможностей ИИ могут вырасти ещё сильнее. Порог возможностей в области исследований и разработок ИИ по нашей Политике ответственного масштабирования применяется в случаях, когда мы "наблюдаем или ожидаем" определённое ускорение прогресса. Поэтому мы решили, что достигли этого порога, исходя из ожиданий от будущих моделей и общих темпов нашего прогресса, а не из того, что наблюдали у нынешних моделей.

В документе не уточняется, о каком именно разделе политики идёт речь. Однако слова "наблюдаем или ожидаем" встречаются в тексте Политики ответственного масштабирования именно в части о "резко ускоренном" прогрессе. Под таким прогрессом там понимается удвоение базовых темпов улучшения возможностей ИИ.

По сути, Anthropic сообщает не о внезапном скачке в развитии своих моделей, а о пересмотре собственной оценки. Решение основано на ожиданиях от будущих систем, а не на наблюдениях за нынешними моделями.

IPO Anthropic уже совсем близко, и компания опубликовала связанные с ним документы на своём сайте. Среди них есть письмо основателей, в котором отдельно упоминается самоулучшение ИИ:

Безопасное создание ИИ может потребовать от Anthropic (а в идеале и от всей отрасли) сдерживать чрезвычайно быстрые темпы, с которыми нарастают возможности ИИ, особенно когда это происходит за счёт того, что системы ИИ создают сами себя.

По данным Anthropic, торги акциями компании на открытом рынке должны начаться в четверг. Порог рекурсивного самоулучшения формально сработал за несколько дней до этого события.

Больше статей на Shazoo
Тэги:

Об авторе

Эксперт по Fallout
Главный редактор
Более 16 лет в индустрии освещения видеоигр, кино, сериалов, науки и техники. Особенно разбираюсь в серии Fallout, ценитель The Elder Scrolls. Поклонник Arcanum и Fallout Tactics. Больше всего играю в Civilization, Old World и градостроители. Изучаю ИИ и загадки космоса.