Llama Kanso Fude 1.0

Llama Kanso Fude 1.0 — компактный on-device теггер от BuilderHelm для ZenVoice: он форматирует сырой вывод speech-to-text по словам, не добавляя новых слов. Построен на Gemma 3 270M (268M параметров), дообучен как двунаправленный энкодер с четырьмя головами классификации на каждое слово и поставляется в ONNX для ONNX Runtime на Windows, Linux и macOS.

⚙ Ключевые особенности

• 📌 Расставляет , . ? ! : ;, склеивает слова с дефисами.
• 🔎 Восстанавливает регистр в начале предложений, в именах и аббревиатурах.
• 🗑 Убирает филлеры («um», «you know») и повторы слов, применяет устные самокоррекции.
• 🔒 Защищённые фрагменты — числа, URL, пути и отрицания — откатывает только при замене на однотипный.
• ⚡ int8-версия: 174 MB, около 8 ms p50 на Apple M5, пик 668 MB в приложении.
• 🌐 Контекст 512 токенов с перекрытием 64; длина входа не ограничена.

💻 Пример

pip install onnxruntime tokenizers numpy huggingface_hub
hf download BuilderHelm/Llama-Kanso-Fude-1.0 --include "tagger.onnx" "*.json" "*.py" --local-dir fude
python fude/format_onnx.py "um the budget is \$2,500 no sorry \$3,000 for the launch"

Подробнее

Бенчмарк Kanso Dictation Bench (int8): WER 0.10%, exact match 79.7%, punctuation F1 0.883, break F1 0.865.
Пик памяти в приложении — 668 MB; int8-файл 174 MB, p50 8 ms на Apple M5.
Английский измерен; испанский, немецкий, французский, португальский, итальянский и нидерландский — только синтетика.
Не переписывает текст: не превращает числа в цифры, не исправляет грамматику; восклицания часто становятся точкой.
Название Llama — из-за обучающего текста Llama 3.1; весов Llama в модели нет.