OpenAI начнёт скрыто маркировать тексты ChatGPT и Codex в ЕС

OpenAI раскрыла, как будет выполнять часть новых требований ЕС о прозрачности ИИ. В ближайшее время тексты и код, сгенерированные на территории ЕС, начнут получать невидимый цифровой водяной знак.

До этого такую же систему, но для текстов Claude, внедрила Anthropic.

Маркировку обеспечивает собственная разработка OpenAI под названием textGrain. По описанию OpenAI, система "добавляет невидимый статистический сигнал в выбор слов моделью". После этого специальный детектор может найти такие сигналы в тексте и определить, есть ли в нём водяной знак.

Принцип работы подобных технологий связан с тем, как языковые модели формируют ответ. Модель выбирает каждое следующее слово из множества вероятных вариантов, и водяной знак едва заметно смещает этот выбор по определённому шаблону. Для человека текст выглядит обычным, а алгоритм с доступом к шаблону распознаёт статистическую закономерность.

Как сообщает OpenAI, система textGrain показал результаты на уровне других решений или выше, включая SynthID для текста от Google. При этом разработчик сделал оговорку о реальной эффективности технологии.

Высокая эффективность в идеальных условиях не гарантирует надёжного обнаружения при повседневном использовании.

OpenAI прямо признала, что детектор справляется не со всеми типами контента. Среди слабых мест системы:

• короткие тексты, для которых точность распознавания составляет около 80%

• математика и похожий по структуре контент

• отредактированные тексты, где правки снижают вероятность обнаружения

OpenAI также планирует открыть исходный код технологии. Так сторонние разработчики смогут дорабатывать и адаптировать её под свои задачи.

По дефолту водяной знак будет включён только для "подходящих текстовых ответов ChatGPT и Codex в Европейском союзе". Клиенты из других регионов смогут подключить маркировку добровольно "для отдельных моделей", однако OpenAI не уточнила, какие именно модели станут доступны пользователям по всему миру.

С детектором OpenAI поступает осторожнее. На первом этапе доступ к нему получат только "одобренные исследователи и экспертные организации". Инструмент не идентифицирует пользователя и не раскрывает ни промпты, ни содержание переписки с чат-ботом.

Уже работающим компаниям дали время на адаптацию до 2 декабря. Помимо OpenAI и Anthropic, под действие нормы попадают Microsoft, Google, Meta и другие разработчики генеративного ИИ.