tiny-voca-ca
компактный синтез речи на каталанском для браузера
2 мин чтения
Модель представляет собой небольшой движок преобразования текста в речь (TTS) на центральном диалекте каталанского языка размером всего 22 МБ, который работает прямо в браузере. Архитектура разбита на два файла в формате ONNX (небольшая надстройка для обработки фонем и акустических признаков плюс генерация формы волны). Решение написано на Rust и компилируется в WebAssembly, благодаря čemu данные не покидают устройство пользователя. Модель включает два профессиональных голоса из датасета FestCat: женский (ona) и мужской (pau).
Ключевые особенности
- Полная автономность в браузере: работает без сервера благодаря WebAssembly и движку tract.
- Сверхлегкий вес: весит всего 22 МБ (разделено на файлы размером 7 МБ и 15.5 МБ).
- Два голоса: поддерживаются дикторы
onaиpauс качеством моновыхода 24 кГц. - Высокая скорость: на смартфоне Poco X6 работает в 6 раз быстрее реального времени на одном потоке.
Что можно сделать
- Интеграция в веб-приложения: запустить локальный синтез речи прямо на страницах сайтов или в воркере.
- Мобильные веб-инструменты: использовать в легковесных офлайн-ассистентах для браузеров телефонов и планшетов.
- Озвучка текстов на каталанском: генерировать речь на лету без отправки данных на удаленные серверы.
Пример
import { TinyVoca } from './tiny-voca.js';
const tts = await TinyVoca.load({ model: '[https://huggingface.co/ttzzs/tiny-voca-ca/resolve/main](https://huggingface.co/ttzzs/tiny-voca-ca/resolve/main)', language: 'ca' });
const audio = tts.speak('Bon dia, com va?', { voice: 'pau' });Подробнее
Бенчмарки: WER на тестовом наборе составляет 14.8% (сравмимо с оригинальными записями спикеров в 17.0%).Ограничения: плохо справляется с акронимами, редкими аббревиатурами и вопросительными интонациями, работает только с центральным каталанским языком.
Лицензия: CC BY-SA 4.0 (базируется на датасете FestCat и архитектуре tiny-voca).










Комментарии