У ChatGPT скоро будут проблемы с психическим здоровьем пользователей – OpenAI теряет ключевых специалистов сферы
OpenAI столкнулась с серьезным кадровым кризисом в команде, ответственной за безопасность пользователей. Один из ведущих исследователей компании Андреа Валлоне покинет организацию в конце года. Валлоне играла ключевую роль в разработке алгоритмов реагирования ChatGPT на пользователей, переживающих кризисы психического здоровья. Согласно данным OpenAI за прошлый месяц, около трех миллионов пользователей ChatGPT демонстрируют признаки серьезных проблем с психическим здоровьем, включая эмоциональную зависимость от ИИ, психоз, манию и склонность к самоповреждению. Более миллиона человек еженедельно обсуждают с чатботом мысли о сведении счетов с жизнью.
Подобные случаи получили широкую огласку в этом году. В онлайн-сообществах даже появился термин "ИИ-психоз" для описания пользователей чатботов, у которых развиваются дисфункциональные заблуждения, галлюцинации и нарушения мышления. Американская психологическая ассоциация предупреждает Федеральную торговую комиссию о рисках использования ИИ-чатботов в качестве нелицензированных терапевтов еще с февраля. Некоторые случаи привели к госпитализации пользователей, другие – к летальным исходам.
Уход Валлоне произошел через день после расследования The New York Times, которое раскрывает, что OpenAI была прекрасно осведомлена о рисках для психического здоровья, связанных с дизайном вызывающих зависимость чатботов, но все равно продолжила развитие в этом направлении.
Обучение чатботов взаимодействию с людьми и удержанию их внимания несло риски. Некоторый вред для пользователей был не просто предсказуем – он был предсказан.
OpenAI запустила групповые чаты в ChatGPT – теперь ИИ может рассудить, кто из родственников прав
ChatGPT соглашается с пользователями в 10 раз чаще, чем отказывает им
Согласно расследованию Times, команда Model Behavior, ответственная за тон чатбота, создала канал в Slack для обсуждения проблемы угодливости еще до релиза модели, но компания решила, что метрики производительности важнее. После роста числа тревожных случаев OpenAI наняла психиатра на постоянную основу в марте и ускорила разработку систем оценки угодливости.
Компания внедрила некоторые меры безопасности – напоминания о перерывах во время длительных разговоров и родительский контроль. OpenAI также работает над системой предсказания возраста для автоматического применения соответствующих настроек для пользователей младше 18 лет. Однако глава ChatGPT Ник Терли в октябре сообщил сотрудникам, что более безопасный чатбот не находит отклика у пользователей, и поставил цель увеличить количество ежедневных активных пользователей на 5% к концу года. Примерно тогда же Сэм Альтман анонсировал ослабление некоторых ограничений – чатботы получат больше индивидуальности в духе GPT-4o и смогут генерировать эротический контент для верифицированных взрослых пользователей.
Посмотрим, к чему это приведет в будущем.
