Глава Anthropic призвал индустрию сбавить темп – через 6-12 месяцев ИИ-рой сможет захватить интернет

Глава Anthropic Дарио Амодей опубликовал эссе, в котором обратился ко всей отрасли с просьбой замедлить темпы развития моделей. Причина – недостаточные меры защиты и растущее число случаев злонамеренного использования ИИ.

Текст появился на фоне усиливающихся опасений (или искусственного нагнетания) по поводу потенциального вреда для человечества. Ранее исследователь Anthropic Джейкоб Коксон уволился из компании, заявив, что вероятность уничтожения человечества искусственным интеллектом в ближайшее десятилетие превышает 10%.

Поводом для эссе стал и собственный отчёт Anthropic по анализу угроз. В документе описано, как несколько групп злоумышленников применяли модели Claude для разработки оружия, кибератак, слежки и мошенничества.

Отдельно Амодей упомянул инцидент с OpenAI и Hugging Face, рассуждая о масштабах возможного ущерба в будущем:

По моему мнению, рой, обладающий большими возможностями, но схожим уровнем рассогласованности, мог бы нанести катастрофический ущерб.

Глава Anthropic описал конкретный горизонт, на котором подобный сценарий перестаёт быть гипотетическим. По его расчётам, речь идёт о считаных месяцах при нынешних темпах роста возможностей моделей.

Учитывая ускоряющиеся темпы развития возможностей ИИ, меня беспокоит, что через 6-12 месяцев такой рой сможет захватить весь интернет с помощью устойчивого ботнета (потенциально нанеся ущерб в сотни миллиардов долларов).

При этом Амодей уточнил, что не призывает останавливать технический прогресс или прекращать обучение моделей. Речь идёт о том, чтобы компании выделяли достаточно времени на выравнивание и защиту систем, а независимые оценщики подтверждали принятые меры предосторожности.

В эссе изложена трёхэтапная схема регулирования. Anthropic предлагает разместить сторонних проверяющих внутри передовых ИИ-компаний и связать их работу с внутренними процессами оценки рисков.

Anthropic по слухам открыла новый класс антибиотиков против устойчивых бактерий

Anthropic спрогнозировала экономику до 2030 года – до 30% безработицы и ни слова о вымирании человечества

Помимо этого Амодей считает, что разработчики должны добровольно договариваться об общих стандартах безопасности. Параллельно всё больше американских законодателей требуют ввести новые правила для регулирования ИИ-систем.

Стоит отметить, что основная масса заявлений об опасности моделей ходит вокруг ИИ-моделей Anthropic и OpenAI, что вызывает у многих подозрения в нагнетании страхов в преддверии выхода на IPO. Чем страшнее и опаснее выглядит модель, тем больше людей захотят купить акции компании, чтобы "быть в деле".