Исследование Anthropic опровергло идею сверхэффективности ИИ-ассистентов для программистов

Anthropic опубликовала научную работу, которая ставит под сомнение главный тезис сторонников ИИ-помощников в разработке. Исследование показало, что использование ИИ для написания кода не дает значительного прироста скорости в среднем, но при этом серьезно ухудшает концептуальное понимание, навыки чтения кода и отладки у разработчиков.

Команда провела рандомизированное контролируемое исследование, в котором программисты изучали новую асинхронную библиотеку Python с ИИ-ассистентом и без него. Результаты противоречат недавним заявлениям о том, что ИИ-инструменты делают разработчиков в 10-100 раз продуктивнее.

Отсутствие прироста скорости объясняется гетерогенностью использования ИИ. Около 20% участников полностью полагались на генерацию кода и завершили задачу быстрее контрольной группы – 19,5 минут против 23 минут. Однако остальные участники, которые задавали множество запросов, тратили время на составление промптов или запрашивали дополнительные объяснения, подняли средний показатель времени выполнения. Составление промптов и предоставление контекста ИИ занимает столько же времени, сколько ручное написание кода в некоторых случаях.

Исследователи выявили шесть различных паттернов взаимодействия с ИИ, три из которых сохраняют результаты обучения даже при использовании ИИ-помощника. Участники с высокими результатами тестирования (65-86% правильных ответов) задавали концептуальные вопросы вместо простой генерации кода или запрашивали объяснения к сгенерированному коду. Эти паттерны демонстрируют высокий уровень когнитивной вовлеченности.

Напротив, группа с низкими показателями (24-39% правильных ответов) полностью делегировала написание кода ИИ и никогда не задавала концептуальных вопросов. Самая большая разница в результатах тестов проявилась в вопросах по отладке – критичный навык для валидации и исправления ИИ-сгенерированного кода.

Выводы особенно актуальны для компаний, переходящих на модель написания кода с помощью ИИ под контролем человека. Если формирование навыков разработчиков подавляется использованием ИИ с самого начала, они могут не обладать необходимыми способностями для проверки и отладки кода, созданного искусственным интеллектом.

Даррен Аронофски запустил ИИ-сериал о войне за независимость США и получил волну критики за "ИИ-шлак"

Более половины разработчиков игр считают генеративный ИИ вредным для индустрии

Исследователи особенно отмечают, что агрессивное внедрение ИИ на рабочих местах может негативно повлиять на профессиональное развитие сотрудников, если они не остаются когнитивно вовлеченными. В условиях временных ограничений и организационного давления младшие разработчики могут полагаться на ИИ для максимально быстрого выполнения задач за счет реального развития навыков.

Данная работа Anthropic фокусируется на одночасовом периоде изучения конкретной библиотеки Python через чат-интерфейс, так что требуются дальнейшие исследования для выявления долгосрочных эффектов агрессивного внедрения ИИ в программирование.