Разработка агентов искусственного интеллекта, способных обнаружить уязвимости в сложных системах, все еще является сложной задачей, которая требует большой ручной работы. Тем не менее, такие агенты имеют важное преимущество — в отличие от традиционных методов, таких как нечеткие или формальные проверки, их работа может быть буквально «читать» в журналах. Это позволяет исследователям лучше понять сильные и слабые стороны современных крупных лингвистических моделей. Авторы эксперимента собрали более 100 ГБ информации от Такие журналы выбрали несколько репрезентативных случаев.
Первым тестовым объектом был SQLite — легкий и чрезвычайно популярный C -CD, который используется в браузерах, мобильных операционных системах, автомобилях, самолетах и даже в самом двигателе CRS.
Во время практического раунда конкуренции AIXCC агенты обнаружили не только специально введенные уязвимости, но и реальные ошибки. Среди них были два серьезных, удаленные разработчиками 5 августа. Одним из них оказался классический переполнение буфера в расширении Zipfile по умолчанию. Ошибка позволила ему выйти за пределы памяти при работе с архивами, и было почти невозможно обнаружить через какое -либо пузырь. Другая ошибка в том же коде привела к чтению дополнительных данных при открытии поврежденного файла ZIP.
Затем фокус был перемещен в FreerDP — бесплатную реализацию протокола удаленного рабочего стола. В дополнение к специально добавленным проблемам, таким как задняя дверь в масках, агенты смогли выявить истинную уязвимость: переполнить все количество при обработке информации клиента. Интересно, что даже часы фазы Libfuzzer не захватили эту ошибку, но компетентно сгенерированный вход в искусственный интеллект сумел ее воспроизвести.
Подобные эксперименты были проведены с другими популярными проектами — Nginx, Apache Tika и Apache Tomcat. В журналах вы можете увидеть, как система ИИ пытается внести поправки, столкнуться с неоднозначностями в патчах и в конечном итоге добивается успеха, иногда тратит десятки минут и несколько долларов. В некоторых случаях агенты обнаруживают необычные операции — например, если они не могут обойти защиту с помощью файла ZIP, они перемещаются в архивы смолы.
Авторы подчеркивают, что такие эксперименты полезны не только для обнаружения ошибок, но и для настройки самих агентов ИИ, их инструментов и распределения ролей между ними.
Несмотря на то, что не все обнаруженные ошибки являются критическими, практика показывает, что системы LLM способны обнаруживать и воспроизводить уязвимости, которые избегают классических методов. Хотя этот процесс все еще далек от полной автоматизации, он уже дает исследователям совершенно новую перспективу безопасности известного программного обеспечения.
