Nvidia представила большой набор данных и две модели с искусственным интеллектом для признания и перевода речи на европейских языках. Набор данных, называемый Granary, включает в себя около миллиона часов аудио, из которых более 650 000 часов предназначены для системы распознавания речи и 350 000 часов для перевода.
Гранерия охватывает 25 европейских языков- все 24 официальных языков Европейского Союза, плюс русский и украинский. В дополнение к широко представленным языкам, таким как немецкий и французский, гранарий включает аудиозаписи на относительно редких языках, для которых ранее не были опубликованы большие массивы данных, такие как хорватские, эстонские и мальтийские.
Чтобы создать гранарию, компания сотрудничает с исследователями в Университете Карнеги Мелон и Фондом Бруно Кеслера. Инструментарий процессора речевых данных NEMO использовался для обработки аудио, который преобразует неарковые общественные аудиозаписи в формат искусственного интеллекта. Этот процесс значительно снижает необходимость в ручной маркировке, что делает обучение моделей быстрее и дешевле.
В дополнение к набору данных, NVIDIA также представила новые II-модели-кондиционер и попугай. Canary-1B-V2-это крупномасштабная модель с миллиардами параметров, обученных в гранарии, предназначенных для сложных задач, таких как длинные тексты и двусторонний перевод между английским и 24 другими языками. Модель поддерживает функции для автоматического восстановления пунктуации, а также может создавать отпечатки времени для слов и фраз, что полезно при создании субтитров.
Вторая версия Parakeet-TDT-0.6B-V6-I-более компактная модель, предназначенная для быстрого выполнения ежедневных задач, таких как транскрипция потоковой передачи и быстрый перевод речи в реальном времени.
Nvidia надеется, что открытый доступ к моделям Granary и Canary и Parakeet поощряет исследовательское сообщество к разработке новых приложений и продуктов с эффективным распознаванием речи и переводом. Комплект теперь доступен для разработчиков платформ, таких как обнимающееся лицо.
