Разработчики программного обеспечения с открытым исходным кодом столкнулись с новой проблемой — потоком некачественных отчетов об ошибках, генерируемых искусственным интеллектом. Эксперты говорят, что ситуация начинает напоминать наводнение социальных сетей дезинформацией, с которой борются системы фактчекинга.
Сет Ларсон, исследователь безопасности из Python Software Foundation, делится своими наблюдениями в недавнем посте. По его словам, в последнее время количество отчетов об уязвимостях, созданных с использованием больших языковых моделей (Магистр права) резко возросло. Эти сообщения кажутся весьма правдоподобными, что заставляет разработчиков тратить время на их тщательный анализ и опровержение.
Это особенно серьезная проблема для крупных проектов с открытым исходным кодом, таких как Python, WordPress и Android, которые лежат в основе современного Интернета.
Большинство из них поддерживаются небольшими группами энтузиастов-добровольцев, которые работают бесплатно. Реальные уязвимости в широко используемых библиотеках кода представляют серьезный риск, поскольку их эксплуатация может привести к повреждению всей системы. Разработчик Дэниел Штернберг на сайте HackerOne открыто раскритиковал одного пользователя за отправку сгенерированного отчета об ошибке:
«Вы отправили бессмысленный отчет, по-видимому, созданный ИИ, с упоминанием какой-то проблемы безопасности — видимо, потому, что ИИ убедил вас в ее существовании. Затем вы потратили наше время, замалчивая тот факт, что программное обеспечение сделало это за вас, и продолжили дискуссию, отвечая той же чепухой, вероятно, также созданной ИИ».
Генерация кода становится все более популярным применением больших языковых моделей, хотя полезность этой технологии все еще обсуждается среди разработчиков. Такие инструменты, как GitHub Copilot или ChatGPT, успешно создают базовую структуру проекта и помогают найти нужные функции в библиотеках программного обеспечения. Однако большие языковые модели, как и любая система искусственного интеллекта, иногда выдают ошибочный или неполный код. Они не понимают программирование на концептуальном уровне, а оперируют вероятностными моделями, предсказывая возможный результат на основе данных своего обучения.
Для создания готового проекта разработчикам по-прежнему необходимо глубокое понимание используемого языка программирования, умение отлаживать код и понимать общую архитектуру приложения.
Эксперты говорят, что инструменты генерации кода окажут наибольшее влияние на начинающих программистов, поскольку простые приложения, которые можно создавать исключительно с помощью ИИ, скорее всего, уже существуют. Такие платформы, как HackerOne, которые платят за поиск уязвимостей, скорее всего, невольно поощряют использовать ChatGPT для анализа кода и отправки поддельных отчетов об ошибках, созданных ИИ.
Хотя спам не является новым явлением для Интернета, умные технологии значительно облегчили его массовое «производство». Вполне вероятно, что для борьбы с этим явлением потребуются новые механизмы безопасности, такие как CAPTCHA.
