squad-0.8b

squad-0.8b от labqoat — типизированная decision-модель на 0.85B (System One API: состояние и типизированные вопросы на входе, вероятность по каждому допустимому ответу на выходе, один forward pass, без генерации текста). Построена как MoQLE (Mixture of Quantized LoRA Experts): один trunk на базе Qwen/Qwen3.5-0.8B-Base, роутер на 1.1 MB после 5-го слоя и 2-bit LoRA-эксперты. В ревизии октября 2026 — новый trunk и четыре эксперта: games, e2e, multilingual (10 языков) и documents.

⚙ Ключевые особенности

• ⚡ 3.7 ms медиана на одно решение на одной L40S; около 110 решений/с при 16 клиентах; роутер и эксперты почти не добавляют задержки.
• 🧩 Четыре эксперта по 2.7 MB: games, e2e, multilingual (10 языков), documents; вместе добавляют около 11 MB к trunk.
• 🧬 MoQLE: rank-64 LoRA на gate_proj, up_proj, down_proj слоёв 12–23, хранятся как 2-bit строки; trunk заморожен, эксперты обучены RL.
• 🎯 Роутер LayerNorm → Linear(1024, 256) → GELU → Linear(256, 9) выбирает top-1 из {trunk, games, e2e, multilingual, documents}; e2e включается при уверенности ≥35%.
• 🏆 Лучше предыдущей squad-0.8b: Rules-7 +10, JevBench coherence +5.8, JevSpatial +3.9; e2e на 8 реальных приложениях — 52 из 61 теста (в первом релизе ревизии — 12).

💡 Пример

from qev import QEV

m = QEV.from_pretrained('labqoat/squad-0.8b', specialists=True)
m.decide(state, questions, per_question=True)
print(m.last_routes)

Подробнее

На L40S: 6.3 GB GPU memory; медиана 3.7 ms на запрос.
Benchmark Heaven — 76.6 (предыдущая — 77.1), JevSpatial — 79.7, Rules-7 — 74.1.
Ограничения: в этой ревизии оценивались только текстовые решения, image input не переоценивался; e2e ошибается на одинаковых кнопках строк, отправке до заполнения формы и повторении действия без эффекта.
Польские sentiment и QA (KLEJ) уступают basal-omni-pico: 73.4 против 75.3. Лицензия Apache-2.0.