ИИ лучше студентов справляется с экзаменами, но с абстрактным мышлением пока проблемы

Ведущий ученый Университета Рединга Питер Скарф обнаружил, что ИИ сдает экзамены гораздо лучше, чем большинство студентов. Для этого Скарф провел эксперимент, чтобы проверить уязвимость университетской экзаменационной системы к ответам, сгенерированным ИИ.

Команда Скарфа представила более 30 ответов, сгенерированных ИИ, по нескольким модулям психологии для студентов. Более 94% этих работ остались необнаруженными, и почти 84% получили более высокие оценки, чем работы людей.

Эксперимент охватывал пять модулей бакалавриата по всем трем годам обучения психологии. Задания, сгенерированные ИИ, включали ответы на 200 слов и более сложные эссе на 1500 слов.

Команда Скарфа представляла ответы без редактирования, за исключением минимального форматирования эссе. Они даже использовали копипаст, чтобы удержать ответы в рамках требуемых ограничений по количеству слов.

Несмотря на отсутствие усилий по сокрытию использования ИИ, 63 работы, сгенерированные ИИ, просочились в экзаменационную систему. Большинство не были отмечены из-за повторов или роботизированного языка — их выявили, потому что были слишком хороши.

ИИ не справился хорошо в последнем модуле, где студенты должны были продемонстрировать более глубокое понимание и аналитические навыки. В отношении абстрактного мышления большие языковые модели пока испытывают трудности, но можно не сомневаться, что и эта проблема будет преодолена.

Хотя ИИ отлично справился с экзаменами первого и второго курсов (где вопросы были более доступными), он продолжает развиваться, так что Скарф прогнозирует повышение уровня и на более поздних, сложных задачах.

В связи с тем, что ИИ становится повсеместным, университеты должны адаптироваться. Обнаружение мошенничества с использованием ИИ — уже очень сложная задача, так что ученый считает, что необходимо не бороться с ИИ, а интегрировать его в образование. Правда, остается еще вопрос, как мотивировать людей развивать свой мозг, а не полагаться только на ИИ.