Глава Anthropic предупреждает, что человечество не готово к мощному ИИ

Дарио Амодей, глава Anthropic, опубликовал 38-страничное эссе о рисках мощных систем искусственного интеллекта.

Мы вступаем в переходный период, одновременно турбулентный и неизбежный, который проверит нас как вид. Человечеству вот-вот вручат почти невообразимую мощь, и глубоко неясно, обладают ли наши социальные, политические и технологические системы зрелостью, чтобы ею управлять.

Он критикует как "думеризм" 2023-2024 годов, так и недавний сдвиг в сторону игнорирования угроз, называя ситуацию "возможно, самой серьёзной угрозой национальной безопасности за столетие".

Под "мощным ИИ" Амодей понимает машины умнее нобелевских лауреатов, способные решать сложные задачи, писать романы, консультировать и создавать видео с мастерством, превосходящим самых способных людей. Основные риски – "автономность" ИИ (безрассудный, обманывающий интеллект), злоупотребления людьми (особенно разработка биооружия) и геополитические угрозы вроде "роя миллиардов автоматизированных дронов" под контролем ИИ. Для противодействия он предлагает разрабатывать ИИ с "конституцией" – набором ценностей, постоянный мониторинг, прозрачность и законодательное регулирование.

В геополитическом плане Амодей призывает не помогать авторитарным режимам разрабатывать ИИ:

Китай отстаёт от США на несколько лет в производстве передовых чипов, и критический период для построения страны гениев в дата-центре будет в течение этих нескольких лет.

Внутри демократий он поддерживает законодательство о гражданских свободах и осторожный подход к автономному оружию и слежке.

Экономический рост станет "обоюдоострым мечом" – Амодеи предсказывает исчезновение половины стартовых офисных вакансий в период от 1 до 5 лет. ИИ также может изобрести новые религии, вызвать "ИИ-психоз" или лишить людей цели в мире, где ИИ делает всю работу.

Он говорит о "ловушке":

ИИ настолько мощный, такой блестящий приз, что человеческой цивилизации очень трудно наложить на него какие-либо ограничения вообще.

При этом Амодей оптимистичен, но, как замечает автор статьи, он один из тех, кто пожнёт плоды, пока его компания строит массивную пользовательскую базу – лидеры ИИ-компаний могут быть не лучшими, кому стоит доверять решения.