OpenAI публикует отчет о том, как мошенники и пропагандисты манипулируют языковыми моделями.
Мошенники и пропагандисты все чаще используют языковые шаблоны не для развлечения, а для вымогательства денег и влияния на общественное мнение. В новом отчете OpenAI подробно описаны десятки таких случаев и показано, как злоумышленники внедряют искусственный интеллект в знакомые схемы.
Одна из самых красноречивых историй называется «Операция «Приманка для свиданий». Сеть аккаунтов, предположительно связанных с мошенническими центрами в Камбодже, продвигает в социальных сетях вымышленное элитное агентство знакомств «Клуб Романтис». Реклама была нацелена на молодых людей в Индонезии, заинтересованных в гольфе, яхтинге и роскошной жизни. После нажатия жертвы перенаправлялись к чат-боту, выполнявшему роль «секретаря», после чего разговор переводился в Telegram, где присутствовали живые операторы. Они призывали оплатить «миссии», «VIP-карты» и поддержку избранницы и, наконец, потребовали крупную выплату под видом «компенсации» или «подтверждающего депозита». Согласно отчету, мошенники не только вели внутренний учет, но и даже подсчитывали максимальную сумму, которую они могли вымогать у каждой жертвы.
Операция «Ложный свидетель» работает аналогичным образом. Участники выдают себя за юристов и сотрудников американских агентств, в том числе отдела рассмотрения жалоб на интернет-преступления ФБР. Они предлагают жертвам возврат денег, потерянных в результате других мошенничеств, и требуют 15% «платы за обслуживание» авансом или в качестве залога. Модели использовались для написания сообщений в «юридическом стиле», перевода корреспонденции и создания поддельных документов, в том числе фиктивных членских карточек адвокатов.
Отдельный раздел отчета посвящен операциям влияния. В деле Silver Lining Playbook аккаунты, предположительно действующие из Китая, готовили электронные письма официальным лицам и аналитикам США от имени вымышленной консалтинговой фирмы. Авторы хотели помочь в составлении коротких и убедительных электронных писем с элементами психологического давления и приглашением на «консультации». Параллельно их интересовало расположение федеральных зданий в США и программное обеспечение для имитации лиц для видео. Компания не нашла доказательств того, что получатели ответили на эти электронные письма.
В рамках операции «Троллинг-камень» сеть аккаунтов опубликовала материал об аресте Константина Руднева в Аргентине и оставила под новостью массовые комментарии, создав впечатление широкой поддержки. Некоторые сообщения были размещены на страницах Facebook под видом аргентинских СМИ, администраторы которых находятся в Пакистане, Армении и Уругвае. Деятельность кажется скоординированной, но ее масштабы в большинстве случаев остаются небольшими.
Аккаунты, работавшие под названием сети «Рыбарь», были связаны с операцией Fish Food. Они генерировали посты на русском, английском и испанском языках для Telegram и X, а также готовили пакеты комментариев, которые затем публиковали различные аккаунты. В одном случае по одному запросу было создано семь постов, но их просмотры резко различались: от 57 000 до более 150 000. Разница заключалась не в качестве текста, а в количестве подписчиков у аккаунта.
Самый большой раздел касается так называемых киберспециальных операций, которые, по словам OpenAI, связаны с представителем китайских правоохранительных органов. Пользователь пытался получить помощь в планировании кампании против премьер-министра Японии, но модель отказалась. Позднее тот же человек потребовал редактирования отчетов об операции. В документах упоминаются сотни сотрудников, тысячи фейковых аккаунтов и десятки тактик: от массовых публикаций и преследований до подделки документов и попыток дискредитировать диссидентов за рубежом. Некоторые из описанных действий были сопоставлены с реальной активностью в Интернете, но многие кампании не достигли значительного общественного воздействия.
Главный вывод доклада носит прагматичный характер. Языковые модели редко становятся самостоятельным оружием. Мошенники и организаторы информационных операций используют подобные инструменты для расширения существующих схем. На результат больше влияют инфраструктура распространения, ресурсы и целевая аудитория, чем само использование искусственного интеллекта.
Все важное из мира технологий прямо на ваш почтовый ящик.
Подписываясь, вы принимаете наши Условия и Политику конфиденциальности. Вы можете отказаться от подписки одним щелчком мыши в любое время.

