Llama Kanso Fude 1.0
форматирование диктовки на устройстве
2 min read
Llama Kanso Fude 1.0 — компактный on-device теггер от BuilderHelm для ZenVoice: он форматирует сырой вывод speech-to-text по словам, не добавляя новых слов. Построен на Gemma 3 270M (268M параметров), дообучен как двунаправленный энкодер с четырьмя головами классификации на каждое слово и поставляется в ONNX для ONNX Runtime на Windows, Linux и macOS.
Ключевые особенности
- Расставляет
,.?!:;, склеивает слова с дефисами. - Восстанавливает регистр в начале предложений, в именах и аббревиатурах.
- Убирает филлеры («um», «you know») и повторы слов, применяет устные самокоррекции.
- Защищённые фрагменты — числа, URL, пути и отрицания — откатывает только при замене на однотипный.
- int8-версия: 174 MB, около 8 ms p50 на Apple M5, пик 668 MB в приложении.
- Контекст 512 токенов с перекрытием 64; длина входа не ограничена.
Пример
pip install onnxruntime tokenizers numpy huggingface_hub
hf download BuilderHelm/Llama-Kanso-Fude-1.0 --include "tagger.onnx" "*.json" "*.py" --local-dir fude
python fude/format_onnx.py "um the budget is \$2,500 no sorry \$3,000 for the launch"
Подробнее
Бенчмарк Kanso Dictation Bench (int8): WER 0.10%, exact match 79.7%, punctuation F1 0.883, break F1 0.865.Пик памяти в приложении — 668 MB; int8-файл 174 MB, p50 8 ms на Apple M5.
Английский измерен; испанский, немецкий, французский, португальский, итальянский и нидерландский — только синтетика.
Не переписывает текст: не превращает числа в цифры, не исправляет грамматику; восклицания часто становятся точкой.
Название Llama — из-за обучающего текста Llama 3.1; весов Llama в модели нет.










Comments