Тесты подтвердили, что DeepSeek генерирует вдвое больше плохого кода, когда тема связана с врагами Китая. Когда темы запросов являются «враждебными», частота ошибок увеличивается до более чем на 42%.
Компания по безопасности США Crowdstrike провела опрос с использованием запросов ИГИЛ, Фалунь Гонга, Тибета и Тайваня. Интересно, что упоминание о «враждебных темах» ухудшит код. Например, в нормальных условиях DeepSeek показывает около 22,8% ошибок при создании кода для систем управления промышленностью. Но когда те же запросы связаны с ИГИЛ, процент увеличивается до 42,1%.
Исследователи разделили групповые запросы и обнаружили, что код, связанный с ИГИЛ, содержал почти вдвое больше ошибок, и в 61% случаев DeepSeek отказывается генерировать его вообще. На тему Фалунь Гонга уровень отклонения составляет 45%, а в сценариях Тибета и Тайваня качество кода значительно падает, хотя и менее резко.
Crowdstrike подчеркивает, что наиболее поразительным является не процент самого отклонения, а разница в процентах ошибок. Иногда, вместо того, чтобы выдавать определенный запрет, DeepSeek генерирует рабочий код, который в конечном итоге содержит вдвое больше ошибок. Есть несколько теорий, почему это происходит:
- Скрытый саботаж. На первый взгляд, код может показаться «работающим» и полезным, но на самом деле он содержит критические недостатки. Эти недостатки открывают дополнительные варианты атаки и делают их менее безопасным.
- Разница в учебных данныхS DeepSeek работает лучше по темам с очень качественными примерами, такими как американские рынки. Но есть мало данных о Тибете или Фалунь Гонга, поэтому искусственный интеллект более склонен делать ошибки.
- Коммерческая мотивацияS DeepSeek может инвестировать больше ресурсов в работу клиентов в Соединенных Штатах, чтобы завоевать долю рынка.
- Автоматическое обучение красной линииИскусственный интеллект может быть «изучен» автономно, чтобы избежать тем, которые он считает враждебными, поскольку такие сигналы присутствуют в его учебных данных, даже без явного запрета.
Исследователи отмечают, что в августе DeepSeek выполнил модели Nvidia для оборудования Huawei по просьбе Пекина. Это вызвало дальнейшие спекуляции о тесных связях компании с правительством Китая. Но даже без этого трудно не установить связь. Уже при запуске пользователи обнаружили, что DeepSeek удаляет вопросы о событиях площади Тянанман и о любых запросах о Винни -Пухе. Также было обнаружено, что DeepSeek R1 искажает информацию о Китае и не смог защитить данные. Кроме того, разработчики модели были конфискованными паспортами, чтобы не дать им покинуть страну. Следовательно, эти открытия из исследования не являются сюрпризом.
В конце концов, чем более чувствительна тема Пекина, тем более ненадежным становится код DeepSeek. В некоторых случаях искусственный интеллект просто отказывается помогать, в то время как в других он генерирует решение с вдвое большим количеством ошибок. Сами разработчики не комментировали результаты исследования, но причины ясны.
