Новое исследование Microsoft Research Unit показывает, что, несмотря на то, что искусственный интеллект помогает разработчикам писать код, даже продвинутые модели OpenAI (O1) и антропной (Claude 3.7 Sonnet) имеют дело с исправлениями ошибок. не более половины случаевS Тесты основаны на лучшем эталонном эталоне SWE-Bench, который измеряет способность систем ИИ создавать программный код.
Во время эксперимента агенты пытаются решить 300 задач для удаления ошибок в коде. Лидер стал Claude 3,7 Сонета, который выполнил задачу с уровнем успеха 48,4%, вторым местом был Openai O1 (30,2%) и третий-O3-Mini (22,1%). Однако, как видно, даже эти цифры далеки от уровня, который можно ожидать от опытных программистов. Как объясняет TechCrunch, основная проблема заключается в том, что искусственный интеллект все еще не понимает, как использовать доступные инструменты и интерпретировать ошибки.
По словам авторов исследования Основным препятствием остается отсутствие данных обучения данных.
«Мы твердо верим, что обучение или предварительное обучение могут сделать их лучшими интерактивными отладчиками»,-пишут они. — Однако это требует специализированных данных, таких как цепочка записей всех человеческих взаимодействий с II Devugo.
В настоящее время эти данные слишком мало, что ограничивает возможности моделей. Например, популярный инструмент Devin of the Cognition Labs Startup удалось пройти только три из 20 тестов кодирования по этой причине. И хотя II активно используется такими компаниями, как Google, По словам главного исполнительного директора Sundar Pichai, четверть кода, который создается с помощью искусственного интеллекта, может быть даже расстроен — добавляя ошибки.
Технологические лидеры скептически относятся к полной автоматизации профессии программиста. Билл Гейтс уверен, что программирование как профессия, безусловно, никуда не исчезнет. Генеральный директор AMJAD MASAD, генеральный директор Okta Todd McKinnon и генеральный директор IBM Арвинд Кришна придерживаются такого же мнения.
Несмотря на очевидные проблемы, интерес к инструментам развития искусственного интеллекта продолжает расти. Инвесторы видят потенциал для Повышение эффективностино ведущие разработчики думают, что еще рано доверять ИИ.
