ChatGPT с языковой моделью o1 тратит «больше времени на размышления', чтобы получить лучший ответ. Пользователи обнаружили, что такое иногда случается»мышление' на китайском языке, независимо от языка запроса.
Похоже, что алгоритм «думает» не только на английском, но и на других языках и особенно на китайском. Большинство людей обращают внимание только на окончательный ответ, но у пользователей есть возможность увидеть, как ChatGPT его конструирует и оптимизирует. На этом этапе многие заметили, что LLM начал включать в свой процесс мандаринский и кантонский диалекты. Модель также использует другие языки.
«Почему o1 pro вдруг начал думать по-китайски? Ни одна часть разговора (5+ сообщений) не была на китайском… очень интересно… Влияние обучающих данных— спросил Ришаб Джейн на X. Другие пользователи с похожими вопросами отмечали в своих сообщениях OpenAI и ChatGPT, но ответов не было.
Самое простое, что приходит на ум, — использовать китайские данные для обучения модели. Представители отрасли, и в частности Илон Маск, признают отсутствие данных об обучении моделей. Но более сложное объяснение кроется в принципе работы языковых моделей, которые не зря так называются. Возможно, дело в том, что другие языки работают иначе и могут более эффективно генерировать ответ. Модель определяет, что в конкретной ситуации лучше подойдут китайские или другие конструкции, и предоставляет пользователю окончательный ответ на том языке, на котором он делает запрос.
Настоящую причину трудно определить из-за закрытых языковых моделей, и дело не только в корпоративных ограничениях. OpenAI однажды призналась, что на самом деле не знает, как работает модель GPT. На самом деле разработчики знают только техническую сторону и в меньшей степени, как именно «думает» модель. На данный момент OpenAI не предоставил ответов на вопросы пользователей или запросы журналистов. Вполне возможно, что компания о них просто не знает.
