dormice

dormice — файнтюн Qwen/Qwen3.8-27B для вопросов с выбором ответа по изображениям. Модель возвращает вероятность для каждого варианта, а не генерирует текст. В репозитории — low-rank обновление весов (1.4 ГБ), 26-way linear head и движок Decision Index.

🔎 Ключевые особенности

• ⚙ Основа — Qwen/Qwen3.8-27B; vision tower заморожен, обучались LoRA rank-16 на линейных слоях языковой модели.
• 🎯 Ответ — выход 26-way head по hidden state последнего токена; softmax по вариантам при temperature 1, без декодирования букв.
• 🖼 До 12 вариантов A–L на запрос; изображения в нативном разрешении до 1 638 400 пикселей.
• 🔄 В full-attention слоях все токены промпта видят все токены, recurrent Gated DeltaNet остаются causal; обычное causal attention даёт другие ответы.
• 💻 Нужен один GPU: bf16-веса занимают 54 ГБ, публичный прогон — около 58 ГБ.

⌨ Пример

from dormice import Engine
engine = Engine()
response, _ = engine(
    {},
    {"answer": {"type": "choice", "instructions": "Which object is closer?",
                "criteria": {"A": "the bicycle", "B": "the bench"}}},
    images=["street.jpg"])
print(response["answers"]["answer"])

Подробнее

Публичный прогон Decision Index vision 0.3: индекс 77.82 на десяти бенчмарках (11 410 из 11 410 вопросов); Winoground не запускался.
Сильные результаты: InfographicVQA 99.18, KIE 98.05, Mind2Web 95.17.
Слабые места: Hateful Memes (skill 54.82), R-Bench-M (29.97), MMMU-Pro vision (43.85) — вероятностям на таких вопросах лучше не доверять.
Загрузка с прогревом — около 109 с; медианная задержка 199 мс на RTX PRO 6000 (96 ГБ).
Это не заявка на SOTA: авторы прямо говорят, что разница с RSI-JEV-27b в пределах шума.