OpenAI добавила в ChatGPT систему доверенных контактов для пользователей в кризисных ситуациях

OpenAI представила новую функцию безопасности для взрослых пользователей ChatGPT – она ориентирована на поддержку психического здоровья.

Теперь любой совершеннолетний пользователь может указать так называемый "доверенный контакт" – человека, которому компания может направить уведомление в случае, если в переписке будут выявлены признаки обсуждения причинения вреда себе.

Функция появилась на фоне растущего внимания к влиянию ИИ на психическое состояние людей. Ранее OpenAI раскрыла статистику, согласно которой у 0,07% еженедельных пользователей наблюдались признаки психических кризисов, связанных с психозом или манией.

Ещё 0,15% демонстрировали риск причинения вреда себе или суицидальные мысли, а у такого же числа пользователей фиксировались признаки эмоциональной зависимости от ИИ.

С учётом того, что OpenAI оценивает аудиторию ChatGPT примерно в 10% населения Земли, речь потенциально может идти о миллионах человек. Новая система развивает уже существующую функцию родительских уведомлений: ранее ChatGPT мог предупреждать родителей, если подростковый аккаунт демонстрировал признаки эмоционального дистресса. Похожий механизм в этом году также внедрил Instagram*.

Доверенный контакт создан для того, чтобы поощрять связь с человеком, которому пользователь уже доверяет. Он не заменяет профессиональную помощь или кризисные службы и представляет собой один из нескольких уровней защиты для поддержки людей в трудной ситуации.

Активировать функцию можно в настройках ChatGPT – она доступна пользователям старше 18 лет. Для подключения нужно указать номер телефона и электронную почту доверенного лица. После этого выбранный человек получит приглашение и сможет в течение недели принять или отклонить запрос.

После активации автоматические системы OpenAI будут отслеживать случаи, когда пользователь обсуждает причинение вреда себе в контексте возможной угрозы безопасности. Если такой риск будет обнаружен, ChatGPT сначала предупредит самого пользователя о возможном уведомлении доверенного контакта, предложит обратиться к нему напрямую и даже поможет начать разговор с помощью готовых фраз.

Убийца из Флориды спрашивал ChatGPT о том, можно ли складывать трупы в мусорные баки

Использование ChatGPT ослабляет память, снижает креативность и критическое мышление, а также создаёт иллюзию компетентности

Затем ситуацию проверит небольшая команда специально обученных сотрудников OpenAI, которая и примет окончательное решение об отправке уведомления. Если компания сочтёт вмешательство необходимым, доверенный контакт получит сообщение по электронной почте, SMS или через push-уведомление.

В уведомлении укажут лишь общую причину обращения и советы о том, как поддержать человека. Подробности переписки и содержимое чатов передаваться не будут — OpenAI заявляет, что хочет сохранить конфиденциальность пользователей.

*принадлежит Meta, которая признана экстремисткой организацией в России