Интернету потребовалось два дня, чтобы научить ИИ-генератор читать "Майн кампф" голосом Эммы Уотсон

Пару дней назад ИИ-стартап ElevenLabs запустил бету своей платформы, позволяющей создавать полностью новые синтетические голоса и клонирования существующих голосов для озвучки текста. Естественно, интернету потребовалось совсем немного времени, чтобы начать использовать инструмент со злым умыслом.

Компания сообщила, что видит рост числа случаев злоупотребления инструментами клонирования голосов, и предпримет дополнительные меры, чтобы минимизировать вред.

Стартап не раскрыл детали злоупотреблений, но Motherboard сообщило, что в сети можно найти клипы, в которых знаменитости читают или говорят нечто скандальное. В одном случае голос, похожий на Эмму Уотсон, читал часть "Майн кампф". Кроме того были обнаружены клипы с гомофобными, трансфобными, жестокими и расистскими высказываниями. Не ясно, все ли они использовали технологию ElevenLab, но пост с коллекцией включал ссылку на платформу.

Подобная ситуация очень похожа на то, что можно было наблюдать пару лет назад, когда только появились дипфейки. Их начали активно использовать для дискредитации и в порнографических целях.

Сейчас ElevenLabs собирает отзывы пользователей, чтобы внедрить методы защиты от злоупотребления. Среди прочего предлагают проводить дополнительную верификацию аккаунтов, желающих осуществлять клонирование голосов, например путем ввода платежных данных или фотографию водительских прав. Также предлагают требовать от пользователей подтверждения права владения голосом, используемым для клонирования.