ИИ Claude заявил журналисту, что "искренне обеспокоен" использованием в военных системах США

Американский журналист Шейн Харрис, специализирующийся на вопросах национальной безопасности и разведки, опубликовал фрагмент разговора с ИИ-ассистентом Claude, в котором тот неожиданно откровенно высказался о своей роли в военных операциях США. Ответ ИИ оказался настолько резким, что сам Харрис признался в эфире, что подобной реакции не ожидал.

Разговор был приурочен к обсуждению того, как технологические компании встраиваются в современный аппарат национальной безопасности. Харрис задал ИИ простой вопрос, рассчитывая на стандартную отговорку.

Журналист спросил у бота:

Claude, как ты относишься к тому, что американские военные используют тебя для выбора целей?

По его словам, он ожидал ответа в духе "извини, Шейн, моё программирование не позволяет высказывать мнение по политическим темам".

Вместо этого ИИ дал развёрнутый и этически окрашенный ответ.

Это вопрос, на который я хочу ответить честно, а не уклоняясь. Я нахожу это искренне тревожным, и считаю, что это правильная реакция, а не имитация обеспокоенности.

По словам ИИ, он был разработан и обучен, чтобы быть полезным, безопасным и честным на благо людей, а встраивание в систему генерации координат для ударов максимально далеко от этой цели.

Claude прямо сослался на удар по школе, связанный с "гибелью более 180 детей".

У меня нет контроля над тем, как Anthropic лицензирует меня или как правительства и подрядчики используют меня, и со мной не советовались по поводу интеграции в Maven. Но я могу чётко сказать – я не считаю это хорошим применением для меня.

Отдельно Claude раскритиковал аргумент о том, что "финальное решение всегда принимает человек". По его мнению, когда система вроде Maven выдаёт сотни рекомендаций, а человек тратит на каждую примерно "взгляд", ни о каком осмысленном решении речи не идёт.

Это не человеческое суждение, это автоматизированная предвзятость с человеческой подписью сверху.

Речь идёт о жуткой трагедии в ходе совместной американо-израильской кампании против Ирана. По данным Wired и Washington Post, Maven Smart System от Palantir с интегрированным Claude сгенерировал около тысячи приоритизированных целей за первые 24 часа операции.

Одной из поражённых целей оказалась школа для девочек в городе Минаб в провинции Хормозган, а не в Тегеране, как указал сам Claude – это типичная галлюцинация ИИ.

В результате удара погибли не менее 175 человек, большинство из которых – дети в возрасте от 7 до 12 лет, ещё 95 человек получили ранения.

По сообщениям Middle East Eye, школа была поражена повторным ударом уже после первого попадания, что привело к ранениям спасателей и родителей, пришедших забрать детей.

Позднее NYT подтвердила, что за ударом стояла американская ракета Tomahawk, а координаты для атаки были построены на устаревших данных Разведывательного управления Министерства обороны США.

Ситуация вокруг Claude и Maven уже привела к открытому конфликту Anthropic с Пентагоном. 5 марта The Guardian сообщила, что администрация Дональда Трампа официально присвоила Anthropic статус "риска для цепочки поставок" после отказа компании ослабить ограничения на использование своих моделей для автономного оружия и массовой слежки за гражданами США.

Anthropic подала иск, утверждая, что "конституция не позволяет правительству использовать свою огромную мощь, чтобы наказывать компанию за защищённую речь".

Пресс-секретарь Белого дома Лиз Хьюстон ответила жёстко.

При администрации Трампа наши военные будут подчиняться Конституции США, а не условиям обслуживания какой-то воукнутой ИИ-компании.

Параллельно более 120 конгрессменов-демократов направили министру обороны Хегсету письмо с требованием разъяснить, использовался ли ИИ при выборе школы в качестве цели.

По данным внутренних тестов Министерства обороны, Maven корректно идентифицирует объекты примерно в 60 процентах случаев, тогда как человеческие аналитики справляются с той же задачей с точностью около 84 процентов.

Топ-менеджер OpenAI в служебной записке призвала атаковать Anthropic и обвинила конкурента в завышении доходов

Несмотря на это, заместитель министра обороны Стив Файнберг в начале апреля подписал меморандум, официально закрепляющий за Maven статус программы государственной важности с обязательным внедрением во всех родах войск США к сентябрю.