График профессора из Брауновского университета показал масштаб списывания с помощью ИИ на экзаменах

Масштабы списывания с помощью ИИ среди студентов за последние годы хорошо задокументированы, однако наглядных иллюстраций этой проблемы немного.

Один из самых показательных примеров предоставил профессор Брауновского университета, чей график наглядно демонстрирует ситуацию. При этом сдержанная реакция самого вуза вызывает не меньшее беспокойство.

Профессор экономики Роберт Серрано заподозрил, что большинство его студентов использовали ИИ для списывания на промежуточном экзамене, который сдавался на дому. Он решил сравнить эти оценки с результатами очного финального экзамена. Итог стал одним из самых ярких примеров влияния генеративного ИИ на академическую среду.

Причина, по которой Серрано разрешил домашний формат промежуточного экзамена, одновременно разумна и отрезвляюще отражает реальность американских студентов. Некоторым из них было некомфортно сдавать экзамены в аудитории после того, как в декабре прошлого года в университете стрелок убил двух студентов и ранил ещё девять человек.

Однако профессор вскоре заметил тревожные признаки. На его курс по экономике благосостояния в том семестре записались 86 студентов вместо обычных 30. Он предположил, что многие выбрали курс именно из-за домашнего формата экзаменов, дававшего возможность использовать ChatGPT и подобные ИИ-инструменты.

Подозрения Серрано почти подтвердились, когда средний балл за промежуточный экзамен составил 96%. Это значительно превышало типичный диапазон от 65% до 80%, несмотря на то что профессор усложнил тест, учитывая неограниченное время студентов.

Многие преподаватели пытаются бороться со списыванием с помощью ИИ-детекторов, но Серрано понимал, что такие инструменты часто выдают ложные срабатывания в обе стороны.

Студенты других университетов подавали в суд на свои учебные заведения после ложных обвинений в использовании ИИ. Прошлогоднее исследование показало, что подобная практика лишь учит студентов писать так, чтобы обходить детекторы, зачастую с помощью того же ИИ.

Вместо этого Серрано применил более прямолинейное решение – прогнал свой промежуточный экзамен через ChatGPT. Неудивительно, что ответы чат-бота оказались очень похожи на те, что сдали студенты, с аналогичными формулировками и логикой рассуждений.

Когда профессор объявил, что финальный экзамен будет проходить очно, 18 студентов покинули курс, а ещё девять не явились на сдачу. Средний балл оставшихся 59 студентов составил 48,6%. Ранее средний показатель никогда не опускался ниже 65%. Трое студентов получили 0%, а построенный график показал, что большинство отстали от своих промежуточных оценок более чем на 30 баллов.

График указывает, что лишь двое студентов, вероятно, сдавали тесты без ИИ. Одним из них, скорее всего, был лучший студент с результатом 95,5% на промежуточном и 95% на финальном экзамене.

Любопытно, что второй студент, который выглядит честным, набрал всего 55% на промежуточном и 59% на финальном. Он показал самый низкий промежуточный результат и оказался единственным, чья оценка улучшилась на финале.

Впоследствии Серрано отменил учёт промежуточных оценок и сделал финальный экзамен основой на 80% итоговой оценки. Обычно он ставил зачёт всем, кто набирал 50% и выше, но в этот раз профессор снизил порог до 40%.

Однако после передачи данных в Постоянный комитет Брауновского университета по академическому кодексу Серрано не получил ответа. Когда он предал случай огласке, комитет запросил индивидуальные жалобы на каждого студента и копии их экзаменов. При этом профессор заподозрил, что комиссия просто прогонит их через ИИ-детекторы.

Эксперты полагают, что проблема будет сохраняться, пока никому не платят за обеспечение честности студентов. Пока Брауновский университет продолжает разбираться с ситуацией, остаётся неясным, найдёт ли кто-нибудь более действенный способ сдерживания списывания через ИИ, чем очные экзамены в аналоговом формате.