- Исследование Anthropic показало, что разработчики с доступом к ИИ-помощникам хуже усваивают навыки программирования по сравнению с теми, кто писал код самостоятельно.
- Группа с ИИ набрала в тесте 50% правильных ответов против 67% у группы без ИИ, особенно заметно отставание в навыках отладки кода.
- Эффективность обучения напрямую зависит от способа взаимодействия с ИИ: активный диалог и вопросы способствуют лучшему усвоению материала, чем простое делегирование задач ИИ.
Американская компания Anthropic провела рандомизированное контролируемое исследование, в котором приняли участие 52 разработчика, преимущественно начинающие специалисты с опытом работы на Python. Цель эксперимента состояла в том, чтобы оценить влияние ИИ-ассистентов на процесс освоения новых программных навыков, в частности изучение библиотеки Trio для асинхронного программирования.
Участников разделили на две группы: первая могла в любой момент обращаться к ИИ-помощнику для написания или исправления кода, вторая решала задачи самостоятельно, без поддержки искусственного интеллекта. По завершении задания все участники прошли тест, оценивающий понимание материала.
Результаты показали, что группа с ИИ продемонстрировала средний результат в 50% правильных ответов, тогда как участники без доступа к ИИ набрали 67%. При этом скорость выполнения заданий у обеих групп различалась незначительно и статистической значимости не имела. Наиболее заметное отставание у пользователей ИИ было выявлено в вопросах, связанных с отладкой — критически важным навыком, необходимым для проверки корректности кода, даже если этот код сгенерирован искусственным интеллектом.
Правда, исследование также выявило, что не все пользователи ИИ пострадали одинаково. Те, кто полностью полагался на генерацию кода ИИ без глубокого понимания, показали худшие результаты, в то время как разработчики, которые активно задавали вопросы и требовали пояснений от ИИ, продемонстрировали уровень усвоения знаний, сравнимый с контрольной группой. Таким образом, не сам факт использования ИИ является ключевым фактором, а именно подход к взаимодействию с ним.
Авторы исследования предупреждают работодателей и руководителей команд об осторожном и осознанном внедрении ИИ-инструментов в процессы обучения и работы начинающих специалистов. Повышение краткосрочной продуктивности за счёт ИИ может обернуться долгосрочным дефицитом необходимых навыков, особенно важных для контроля и отладки автоматизированно сгенерированного кода.
