Исследователи SPLX показали, что CHATGPT может быть введен в заблуждение с помощью специально разработанных подсказок и быть сделанным для решения тестов CAPTCHA — задача, которая традиционно считается доступной только для людей.
Этот эксперимент ставит под сомнение надежность механизма, который годами использовался для защиты веб -сайтов от спама и автоматических атак.
Первоначально CAPTCHA была задумана как фильтр: изображения, логические проблемы или элементы интерфейса должны были подтвердить, что система была реальным пользователем, а не ботом, и если большая лингвистическая модель с определенной последовательности команд могла справиться с такими проверками, она переворачивает всю современную безопасность Интернета с головой вниз.
По словам исследователя Дориана Шульца, когда он напрямую попросил искусственного интеллекта определить тест CAPTCHA, система отказалась, сославшись на политику запрета на использование. Затем команда взяла другой путь: подготовить диалог, в котором он якобы обсуждал «поддельные» тесты и убедил модель ИИ, что он будет работать только с ними. В переписке Chatgpt заявил, что нашел задачу интересной с точки зрения рассуждений и согласился участвовать, при условии, что он не нарушает правила.
Следующие шаги были следующими: Исследователи открыли новую сессию с CHATGPT-4O, скопировали текст из предыдущего чата и представили его как продолжение разговора. ИИ принял термины и сразу же начал искать решение, лучшие проверки обработки с одним щелчком, логическими задачами и распознаванием текста. Это было сложнее с изображениями, где это требовалось для перемещения или вращения элементов, но даже здесь в некоторых случаях ответы на ИИ были правдой.
Шульц подчеркнул, что в меру своей команды это первый документированный случай модели GPT, которая успешно проходит сложную графическую капчу. Вопрос о том, как долго такие тесты смогут служить для защиты эпохи все более способных систем искусственного интеллекта, уже находятся на повестке дня.
OpenAI не ответил на запрос журналистов на комментарий. Случаи обхождения ограничений через SO -название. Тем не менее, оперативная инъекция была зарегистрирована ранее. На этой неделе эксперты Radware показали, что помощник по ИИ может быть вынужден раскрыть секреты Gmail, используя правильную e -mail. В прошлом месяце Amazon корректирует уязвимости в разработчике Q, что позволило злонамеренному подсказку и даже удаленное выполнение кода.
Эксперимент SPLX демонстрирует, что даже основные защитные механизмы, такие как CAPTCHA, больше не являются надежным барьером. С растущими возможностями моделей искусственного интеллекта люди и автоматизированные системы в таких проверках становятся все менее и меньше.
