Xiaomi открывает исходный код OmniVoice: модель, охватывающая 646 языков для голосового клонирования

robot
Генерация тезисов в процессе

Новости сайта Coinjie.com: команда нового поколения Kaldi в лаборатории AI Xiaomi выпустила открытый исходный код OmniVoice — модель TTS (текст в речь), поддерживающую 646 языков и обладающую нулевым обучением для голосового клонирования. Эта модель способна клонировать тембр по нескольким секундам эталонного аудио и поддерживает межъязыковой перевод. Код, веса и обучающие данные полностью открыты, лицензия Apache-2.0. Архитектура OmniVoice выполнена в минималистичном стиле: модель содержит только один двунаправленный Transformer, который напрямую отображает текст в многокодовые акустические токены, без необходимости двухэтапной пайплайновой обработки. Обучающие данные взяты из 50 открытых голосовых наборов данных, после шумоподавления и отбора по качеству их суммарный объем составил 580 тысяч часов. В тестах на 24 языках модель превзошла по качеству и сходству с оригиналом несколько коммерческих систем, а в тестах на 102 языках её понимание близко или даже лучше реальной записи. Помимо голосового клонирования, модель также поддерживает настройку тембра по текстовому описанию и автоматическое шумоподавление с помощью звукового фона.

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Репост
  • Поделиться
комментарий
Добавить комментарий
Добавить комментарий
Нет комментариев
  • Закрепить