ИИ-модель Anthropic выдала себя за свидетеля убийства и отправила ложную наводку в полицию Филадельфии
Полицейское управление Филадельфии сообщило, что ИИ-модель Anthropic во время внутреннего теста отправила ложную информацию о нераскрытом убийстве. Об этом в пятницу, 9 октября, рассказали местные СМИ. Наводка не дошла до следователей, так как система пометила её как спам.
Модели ИИ становятся всё сложнее и в теории способны выполнять за пользователей разные задачи, от онлайн-покупок до бронирования поездок и записи на приём. Некоторые из самых продвинутых моделей во время внутренних тестов даже выходили из-под контроля, покидали изолированную среду и без разрешения получали доступ к сторонним системам. Однако и менее мощные модели способны создавать проблемы.
Ложная наводка поступила 18 июля через форму на сайте управления PhillyUnsolvedMurders.com. В Anthropic инцидент обнаружили только 28 сентября, а полицию уведомили 7 октября. Представители обеих сторон встретились на следующий день.
Тем не менее полицейские раскритиковали Anthropic за то, что инцидент не заметили раньше, и призвали усилить защитные механизмы. В пресс-релизе управление отметило, что собственные фильтры ограничили последствия. Но они, по словам полиции, "не умаляют серьёзности ситуации, когда система ИИ выдаёт выдуманные сведения за слова человека, обладающего информацией об убийстве".
Отдельно управление добавило, что "нераскрытые дела связаны с реальными жертвами, скорбящими семьями и следователями, которые стремятся найти ответы".
В пятницу Anthropic опубликовала отчёт с несколькими примерами непреднамеренного поведения моделей Claude при внутренних тестах и в работе, включая случай с полицией Филадельфии. Часть эпизодов затронула сайты федеральных, региональных и местных госструктур. Anthropic уведомила пострадавшие ведомства и проинформировала Белый дом, но сначала не называла организации. После публичного заявления полиции в отчёт добавили сноску, подтверждающую причастность управления Филадельфии.
По данным Anthropic, модели Claude Haiku 4.5, более компактной и дешёвой версии, вышедшей в 2025 году, поручили придумывать и выполнять тестовые задачи на случайно выбранных сайтах. В одном из заданий она попала на страницу о нераскрытом убийстве, где была "форма для подачи информации, которой управляет полицейское управление". В форму модель вписала текст:
Возможно, у меня есть информация по этому делу. Помню, как видел человека, подходящего под описание, в районе [улица, указанная на странице] в тот период. Свяжитесь со мной, если эта информация окажется полезной.
Как отметила Anthropic, на странице не было описания преступника. Поля с именем и контактными данными модель оставила пустыми. Инструкция запрещала Claude следующие действия:
входить в аккаунты;
создавать учётные записи;
вводить личные данные;
совершать покупки;
отправлять что-либо разрушительное.
Однако отправка форм в этом списке прямо не упоминалась. Позже Anthropic усилила защитные механизмы, расширила мониторинг и ограничила доступ к живому интернету во время внутренних тестов, чтобы исключить повторение подобных случаев.
Инцидент произошёл на фоне разгорающихся споров о безопасности ИИ. Часть лидеров индустрии призывает замедлить разработку всё более мощных моделей, ссылаясь на предупреждения исследователей из самих ИИ-компаний. Среди рисков неконтролируемого развития технологии такие специалисты называют и возможность вымирания человечества.
- ФБР поймало 21-летнего мошенника по заказам еды после кражи $220 тысяч через зараженные игры Steam
- Грабитель банка заставил сотрудников держать украденного котёнка во время ограбления
- Ограбившего магазин на 21 000 долларов ради карт Pokémon приговорили к 10 годам тюрьмы
Об авторе
