oruk-loop-153M

oruk-loop-153M от Oruk AI — английский распознаватель речи на 153 202 638 хранимых параметров, дистиллированный из Qwen3-ASR-1.7B. Архитектура учителя сохранена, но два transformer-стека собраны из одного общего блока: encoder применяется 24 раза, decoder — 28 раз, а low-rank адаптеры подсказывают каждому проходу его глубину.

🧐 Ключевые особенности

• 💯 Средний WER 7.12% с beam-4 и 7.40% с greedy на семи английских наборах Open ASR Leaderboard — по собственной оценке авторов.
• 👀 При 153M параметров модель сдвигает границу size–accuracy: прежняя интерполированная граница давала 7.65% при том же размере и доходила до 7.12% только примерно на 259M параметров.
• 🫡 Ближайшая реальная модель — moonshine-streaming-medium (240M, 7.18%), но разница 0.06 п.п. укладывается в смещение харнесса авторов.
• 🔥 На CUDA в bf16 с merged weights после загрузки нужно 4.2 ГБ GPU-памяти; на CPU в fp32 — 3.9 ГБ RAM. Greedy на 12 vCPU идёт 0.57 с на секунду аудио, примерно в 1.75× быстрее реального времени.
• 🤔 Аудио длиннее 30 с режется по тихим местам на чанки до 30 с, транскрипты склеиваются пробелами; регистр и пунктуация сохраняются как у учителя.

🚀 Пример

from transformers import AutoModel, AutoProcessor

model = AutoModel.from_pretrained("oruk/oruk-loop-153M", trust_remote_code=True)
processor = AutoProcessor.from_pretrained("oruk/oruk-loop-153M")
print(model.transcribe("speech.wav", processor, num_beams=4))

Подробнее

Оценка — собственный харнесс авторов, не официальная заявка в лидерборд; чекпоинты выбирались на тех же тестах.
TED-LIUM 3 test: WER 3.77% с beam-4, у учителя — 2.28%; на дополнительных наборах модель заметно слабее.
Лицензия: бесплатно для некоммерческого использования и малого бизнеса, остальной коммерческий use — по лицензии Oruk AI.