Xiaomi відкриває OmniVoice: модель, яка охоплює 646 мов для голосового клонування

robot
Генерація анотацій у процесі

Меседжі з сайту CoinWorld: команда нової генерації Xiaomi AI Laboratory відкрила вихідний код OmniVoice — моделі для нульового зразка голосового клонування TTS (текст у мову), яка підтримує 646 мов. Ця модель здатна клонувати тембр за кілька секунд за допомогою зразкового аудіо та підтримує міжмовний перехід. Весь код, ваги та тренувальні дані відкриті, ліцензовані за Apache-2.0. Архітектура OmniVoice дотримується мінімалістичного підходу: модель має лише один двонапрямний трансформер, який безпосередньо з тексту перетворює у багатокодові акустичні токени, без двоступеневого конвеєра. Тренувальні дані зібрані з 50 відкритих голосових наборів даних, після шумозаглушення та відбору якості їх загалом 580 000 годин. У тестах на 24 мовах модель перевищує кілька комерційних систем за схожістю голосу та зрозумілістю, а в тестах на 102 мовах її зрозумілість наближається або перевищує реальні записи. Окрім голосового клонування, модель підтримує налаштування тембру за описом, автоматичне шумозаглушення з допомогою зразкового аудіо та інші функції.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити