В данных, которые Amazon планировала использовать для обучения ИИ, обнаружено множество материалов сексуального насилия над детьми, но корпорация не может объяснить их происхождение

Национальный центр по делам пропавших без вести и эксплуатируемых детей (NCMEC) получил более миллиона сообщений о материалах сексуального насилия над детьми, связанных с ИИ, в 2025 году. Согласно расследованию Bloomberg, подавляющее большинство этого контента было связано с корпорацией Amazon, которая обнаружила материалы в своих обучающих данных.

Компания заявила, что получила неподобающий контент из внешних источников, используемых для обучения ИИ-сервисов, но не смогла предоставить дополнительных деталей о происхождении материалов.

Это действительно исключительный случай. Такой высокий объем сообщений в течение года вызывает множество вопросов о том, откуда поступают данные и какие меры защиты были приняты. Помимо Amazon, отчеты других компаний содержали информацию, которую можно было передать правоохранительным органам для дальнейших действий. Так как Amazon не раскрывает источники, отчеты компании оказались "неприменимыми" для расследований.

Глава Anthropic предупреждает, что человечество не готово к мощному ИИ

Представитель Amazon заявил Bloomberg:

Мы применяем намеренно осторожный подход к сканированию данных для обучения фундаментальных моделей, включая данные из публичного интернета, чтобы выявлять и удалять известные материалы сексуального насилия над детьми и защищать наших клиентов.

Представитель также отметил, что Amazon стремилась завышать цифры в отчетах NCMEC, чтобы не пропустить ни одного случая. Компания сообщила, что удалила подозрительный контент до загрузки обучающих данных в ИИ-модели.

Вопросы безопасности несовершеннолетних стали критической проблемой для индустрии искусственного интеллекта в последние месяцы. Количество материалов насилия в записях NCMEC резко возросло – по сравнению с более чем миллионом отчетов, связанных с ИИ, полученных в прошлом году, в 2024 году их было 67 000, а в 2023-м – всего 4700.

Помимо проблем с использованием оскорбительного контента для обучения моделей, ИИ-чатботы также были замешаны в нескольких опасных или трагических случаях с участием молодых пользователей. К OpenAI и Character.AI были поданы иски после того, как подростки планировали самоубийства с помощью платформ этих компаний.