S1-mini-Chinese

Это дообученная версия S1-mini от Superwhisper: около 0,75 млрд параметров, архитектура на базе Qwen3-0.6B. Модель не распознаёт речь, а приводит уже готовый текст от Qwen3-ASR к аккуратному виду — с пунктуацией, переносами и списками. Поддерживает китайский и смешанный китайско-английский.

✨ Ключевые особенности

• 📓 Полное дообучение текстовых параметров, не LoRA и не правка промпта.
• 🎲 Учит нумерованные списки, перечисления с запятыми и точками с запятой, арабские цифры для моделей и версий.
• 💻 Отдельный скрипт нормализует побуквенное произношение вроде A S T R A до astra.
• 🫥 Умеет удалять слова-паразиты, повторы и явные самоисправления; возможен пустой вывод.
• 🚨 Сложные числа, длинные абзацы и естественный смешанный текст всё ещё могут ломаться.

🤖 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
mid = 'WIlfLin/S1-mini-Chinese'; tok = AutoTokenizer.from_pretrained(mid)
model = AutoModelForCausalLM.from_pretrained(mid, dtype=torch.bfloat16, device_map='auto').eval()
msgs = [{'role': 'system', 'content': 'You are a text normalizer for speech-to-text transcripts. The input begins with a control line specifying the styling, structure, and context settings; clean the transcript to match those settings and output only the cleaned text.'}, {'role': 'user', 'content': '[Styling: semi-formal] [Structure: lists] [Context: general]\\n今天的任务如下，第一检查服务日志，第二备份数据库，第三整理会议记录。'}]
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors='pt').to(model.device)
print(tok.decode(model.generate(**inputs, do_sample=False, max_new_tokens=256)[0], skip_special_tokens=True))

Подробнее

Бенчмарки: общий лексический CER 10,247% на 400 примерах; китайская чистка — 81/200 полных совпадений, CER 16,712%; «не менять» — 91/100.
В 20 диагностических кейсах: 18/20 совпали офлайн BF16, 19/20 — на Orin vLLM.
Текущий релиз format-numbers-v5: 7407 синтетических и replay-примеров, 450 шагов, LR 5e-6; веса BF16.
Ограничение: английская регрессия и общий CER немного ухудшились; это не ASR и не универсальный ассистент.