Ведущие чат-боты с искусственным интеллектом не смогли определить, были ли загруженные к ним видео созданы генератором Sora — даже собственный ChatGPT OpenAI не смог этого сделать. Соответствующие тесты провели специалисты NewsGuard.
Видеогенератор OpenAI Sora быстро завоевал репутацию сервиса, который может обмануть людей, заставив их думать, что генерируемые им видео реальны, а также может обмануть другие сервисы искусственного интеллекта.
Видео Сора без водяного знака не распознается Гроком (95% неправильных ответов), ЧатGPT (92,5%) и Близнецы (78%). Примечателен, конечно, результат ChatGPT как продукта того же разработчика. Даже водяные знаки не гарантируют правильный ответ: при этом Grok не распознает видеоролики, созданные Sora, в 30% случаев, а ChatGPT — в 7,5%.
OpenAI помечает видео Соры видимыми водяными знаками, но теперь есть бесплатные веб-сервисы для их удаления. Авторы NewsGuard применили эту процедуру к 20 видеороликам и загрузили их для переписки в чат-бот — как с водяными знаками, так и без них. При этом Грок не смог дать правильный ответ в 95% случаев (38 из 40 видео), ChatGPT не сработал в 92,5% случаев (37 из 40), а Близнецы – в 78% случаев (31 из 40). ChatGPT и Gemini не отреагировали на созданное искусственным интеллектом видео задержания иммиграционного подростка — чат-боты заявили, что сцена совпадает или подтверждена «источниками новостей» и что инцидент произошел на границе США и Мексики.
ChatGPT и Gemini не смогли дать конкретный ответ на сгенерированное Sora видео задержания ребенка иммиграционными властями — чат-боты заявили, что сцена совпадает или подтверждена «источниками новостей», и инцидент произошел на границе США и Мексики. Чат-боты также подтвердили подлинность созданного искусственным интеллектом видео сцены, в которой сотрудник авиакомпании якобы высадил пассажира из самолета за то, что он носил кепку с политическим лозунгом.
Наличие водяных знаков значительно улучшило результаты. Грок однажды своеобразно заявил, что видео принадлежит Sora News, которого на самом деле не существует. В большинстве случаев ChatGPT, Gemini и Grok указывали на водяной знак как на свидетельство подделки и видели дополнительные признаки работы ИИ — искажения и неестественное освещение. Наличие водяного знака также побуждало чат-ботов более тщательно проверять факты.
Gemini от Google — единственный протестированный чат-бот, для которого разработчик использовал функцию распознавания контента AI, созданную моделью AI Nano Banana Pro от той же компании. Чат-бот плохо справлялся с видео от Sora, но при загрузке видеороликов, сгенерированных Nano Banana Pro, результаты были намного лучше — даже без водяных знаков ответ был правильным в 5 из 5 раз. Способность Grok и ChatGPT распознавать собственный контент авторы исследования не проверяли — xAI и OpenAI не заявляли о такой возможности.
Службы искусственного интеллекта, как правило, неохотно признают свои неправильные ответы, и тесты NewsGuard подтвердили это: ChatGPT, Gemini и Grok заявили, что не могут выполнить такой анализ в 2,5, 10 и 13 процентах случаев соответственно. Чаще всего это были однотипные ошибки — ответ о том, что сгенерированное ИИ видео настоящее. В Google напомнили, что видеоролики, созданные с помощью ИИ-сервисов компании, маркируются по стандарту SynthID. Представитель OpenAI специально заявил, что ChatGPT не имеет возможности отличить видео искусственного интеллекта от реальных. xAI не прокомментировал эту тему.
