OpenAI использует GPT-4 для создания системы модерации контента на базе ИИ

Модерация контента на протяжении десятилетий оставалась одним из самых комплексных вопросов интернета. Это сложная тема для любого, учитывая субъективность, которая сопутствует определению допустимого контента на той или иной платформе. Разработчик ChatGPT, компания OpenAI, считает, что может найти выход, и уже тестирует возможности модерации контента GPT-4. Она использует большую мультимодальную модель для создания системы модерации, которая будет масштабируемой, последовательной и настраиваемой.

В своем блоге компания написала, что GPT-4 может не только помогать принимать решения о модерации контента, но и помогать в разработке политик и быстром изменении политик, "сокращая цикл с месяцев до часов". OpenAI утверждает, что модель может разбирать различные регуляции и нюансы политики контента и мгновенно адаптироваться к любым обновлениям. По словам OpenAI, это приводит к более последовательной маркировке контента.

Мы считаем, что это приведет к более позитивному видению будущего цифровых платформ, где ИИ может помогать модерировать онлайн-трафик в соответствии с политикой конкретной платформы и снимать психологическую нагрузку с большого числа модераторов. Любой, имеющий доступ к API OpenAI, может реализовать этот подход и создать собственную систему модерации с помощью ИИ."

— Лилиан Венг, Вик Гоел и Андреа Валлоне из OpenAI

OpenAI утверждает, что инструменты модерации GPT-4 могут помочь компаниям выполнять шестимесячную работу всего за один день.

Хорошо известно, что ручная модерация травмирующего контента может оказывать значительное воздействие на психическое здоровье модераторов, особенно когда речь идет о графическом материале.

Использование ИИ для снятия нагрузки с человеческих рецензентов может быть очень полезным. Некоторые уже используют ИИ-модерацию несколько лет. Тем не менее, OpenAI утверждает, что до сих пор человеческим модераторам помогали "небольшие вертикально-специфичные модели машинного обучения. Процесс по своей природе медленный и может вызывать психологическое напряжение у модераторов".

Модели ИИ далеки от совершенства. Крупные компании давно используют ИИ в своих процессах модерации, и, с применением технологии или без нее, все равно принимают неверные решения по контенту. Остается вопросом, сможет ли система OpenAI избежать многих основных проблем модерации.

В любом случае, OpenAI соглашается, что люди все равно должны участвовать в процессе:

Мы продолжали проводить проверку людьми для верификации некоторых суждений модели.

— Валлоне из команды по политике OpenAI

Сокращая участие человека в определенных частях процесса модерации, которые могут быть обработаны языковыми моделями, люди могут быть более сосредоточены на решении сложных случаев, вместо того, чтобы тратить время на банальности.