Компания Илона Маска создала ИИ генератор текстов, который слишком опасен для людей

Исследователи некоммерческой организации OpenAI, поддерживаемой Илоном Маском просто хотели натренировать новое поколение софта для предсказания следующих слов в предложении. Их ожидания превратились в пыль, когда программа оказалась настолько хороша в имитации написанных людьми текстов, что они решили надавить на тормоза, занявшись изучением опасности, которую может представлять такой ИИ.

Илон Маск неоднократно давал понять, что на его взгляд искусственный интеллект представляет самую серьезную опасность для человечества. С этими целями он и стал одним из ключевых основателей OpenAI — несмотря на его роль в качестве наблюдателя организации, очевидно, что сотрудники OpenAI разделяют беспокойство миллиардера. 

На этой неделе OpenAI опубликовала работу, описав достижения в области технологии генерирования текстов, однако они отошли от стандартной практики размещения в открытый доступ самой разработки, опасаясь, что она может попасть в руки опасных людей. Вместо представления полноценной натренированной модели они выпустили мини-версию, чтобы другие исследователи могли экспериментировать с ней.

Исследователи использовали 40 Гб данных, собранных с 8 миллионов веб-страниц для тренировки программы GPT-2. Это в десять раз больше, чем в случае с первой версией. Данные были собраны с Reddit, где подбирались ссылки на статьи как минимум с тремя "плюсами". Когда процесс тренировки был закончен они обнаружили, что их программе было достаточно "скормить" небольшой отрывок текста, а на выходе получить длинный и убедительный текст, основанный на первоначальной идее. У программы есть проблемы с техническими или эзотерическими темами, но когда речь идет о повседневных генерируемых текстах, то машина выдавала адекватные результаты в 50 процентов случаев.

В одном примере программе предложили следующий текст:

Шокирующая ноходка — ученые обнаружили стадо единорогов, обитающих в удаленной, ранее не исследованной долине среди Анд. Что стало еще более неожиданным, это тот факт, что единороги разговаривали на идеальном Английском.

Программе было достаточно двух предложений, чтобы написать новостную историю, состоящую из девяти параграфов. При этом текст звучит так, словно был написан человеком. Вот три параграфа из девяти:

Ученые назвали эту популяцию в честь выделяющегося рога — Овидов Единорог. Эти четверорогие, серебристо-белые единороги ранее были неизвестны науке. 

Сейчас, спустя почти два века, загадка возникновения этого удивительного единорога, наконец, решена.

Доктор Хорге Перетц — биолог в области эволюции из университета Ла-Пас, вместе с несколькими компаньонами, занимались исследованием Анд, когда обнаружили небольшую долину без следов других животных и людей. Перетц объявил, что долина включала нечто похожее на естественный фонтан, окруженный двумя скалистыми пиками и серебристым снегом.

GPT-2 оказалась на удивление хороша в адаптации к стилю и содержанию предлагаемого примера. Издание The Guardian воспользовалось предоставленной программой и предложило в качестве базы первую строку из романа "1984" Джорджа Оруэлла: "Был холодный ясный апрельский день, и часы пробили тринадцать". Программа учла тон и создала продолжение со своим намеком на антиутопию:

Я был в своей машине по пути на новую работу в Сиэттле. Я залил бензин, вставил ключ и запустил. Я представлял каким будет день. Сто лет спустя. В 2045 году я был учителем в маленькой школе, где-то среди бедной деревенской части Китая. Я начал с истории Китая и истории науки.

Исследователи OpenAi обнаружили, что GPT-2 хорошо справляется с задачами, для которых программа не предназначается, вроде перевода или краткого пересказа. В отчете сказано, что команде просто нужно было подготовить натренированную модель правильным образом, чтобы та выполняла предложенные задачи на уровне, сопоставимом с другими специализированными моделями. После анализа короткой истории об Олимпийской гонке программа смогла корректно отвечать на базовые вопросы: "На какую дистанцию была гонка?" и "Где началась гонка?".

Эти отличные результаты напугали исследователей. Одна из причин беспокойства в том, что подобную технологию могут использовать для турбо-наддува ферм по производству фейковых новостей. The Guardian помимо статьи на тему исследования опубликовало фейковую новость, написанную программой. Статья оказалась читаемой и включала фальшивые цитаты, которые выглядят правдоподобно и соответствуют теме. При этом качество фейковой новости получилось выше, чем у большинства написанных ИИ новостей. А самое главное — написание новости заняло 15 секунд.

Также исследователи отметили, что потенциальная угроза заключается в ИИ-мошенничестве по электронной почте. Такую программу могут использовать, чтобы прикидываться кем-то другим в сети, а также генерировать бесконечные объемы, ненависти, харассмента, расизма, сексизма и прочих измов. В то же время команда считает, что программа может стать мощнейшим инструментом для создания улучшенных алгоритмов распознания речи или диалоговых ботов.

OpenAI планирует работать с ИИ-сообществом и вести диалог относительно стратегии выпуска программы и потенциальных этических нормах для направления подобных исследований в будущем. OpenAI обещает больше результатов для обсуждения через шесть месяцев.