Исследование доказало, что метод "проверяй за ИИ" не работает – наш мозг сдаётся и ленится
Исследователи Уортонской школы бизнеса опубликовали работу, которая ставит под сомнение фундаментальный принцип, на котором строится вся современная модель внедрения ИИ в рабочие процессы. Статья Стивена Шоу и Гидеона Нейва под названием "Thinking – Fast, Slow, and Artificial" утверждает, что ИИ давно перестал быть просто инструментом.
Авторы предлагают рассматривать ИИ как третью когнитивную систему – в дополнение к знаменитой модели Даниэля Канемана, где Система 1 отвечает за быструю интуицию, а Система 2 – за медленный анализ. ИИ, по мнению исследователей, стал Системой 3 – внешней когнитивной структурой, работающей за пределами мозга.
Ключевое явление, описанное в работе, авторы называют "когнитивной капитуляцией" (Cognitive Surrender). Это состояние, при котором человек перестаёт проверять ответы ИИ – и даже не осознаёт, что перестал это делать.
Принципиальное отличие от обычной когнитивной разгрузки (например, использования калькулятора) в том, что при разгрузке человек понимает – работу выполнил инструмент.
При капитуляции мозг перекодирует ответ ИИ как собственное суждение. Человек искренне верит, что сам пришёл к этому выводу.
В эксперименте приняло участие 1372 человек, которые прошли 9593 испытаний. Когда ИИ давал правильный ответ, 92,7% участников следовали ему – что вполне логично. Однако когда ИИ ошибался, 79,8% людей всё равно принимали неверный ответ. Почти четыре из пяти человек соглашались с ошибкой просто потому, что её выдал ИИ.
Ситуация ещё серьёзнее, если посмотреть на общую результативность:
Без ИИ участники самостоятельно справлялись с заданиями на 45,8%
С корректным ИИ показатель вырастал до 71%
Но с ошибающимся ИИ результат падал до 31,5% – ниже базового уровня без какой-либо помощи
Иными словами, некорректный ИИ делает человека глупее, чем если бы ИИ не было вовсе.
При этом уверенность участников в своих ответах при использовании ИИ возрастала на 11,7 процентных пунктов – вне зависимости от того, был ли ИИ прав или нет. Люди ошибались чаще и были увереннее в своей правоте одновременно.
Исследование также показало, что финансовые стимулы и обратная связь в реальном времени снижают эффект когнитивной капитуляции, но не устраняют его полностью. Инстинкт принятия ответов ИИ оказался слишком глубоким.
Единственной группой, стабильно сопротивлявшейся этому эффекту, оказались люди с высоким уровнем подвижного интеллекта и выраженной "потребностью в познании" – те, кому нравится думать ради самого процесса. Все остальные постепенно капитулировали.
Эти результаты ставят неудобный вопрос перед всей индустрией. Текущая модель продуктивности с ИИ строится на простом принципе:
ИИ делает работу, человек проверяет и одобряет.
Каждый продукт, каждый рабочий процесс, каждая компания, внедряющая ИИ, исходит из того, что человеческая проверка служит страховочной сетью. Исследование Уортона показывает, что в этой сети есть огромная дыра.
Некоторые команды разработчиков уже перешли от ревью кода к ревью спецификаций и архитектуры, осознав, что люди не способны осмысленно проверять сгенерированный ИИ код в больших объёмах. Возможно, решение в том, чтобы перестроить сам предмет проверки, а не требовать от людей проверять всё подряд.
- Новый сервис позволяет ИИ-агентам нанимать людей для задач в реальном мире
- ИИ оказался расистом по отношению к людям и предпочитает контент от собратьев-роботов
- ИИ от Anthropic не справился с управлением мини-бизнесом и начал агрессивно галлюцинировать
Об авторе
