JAD-S1-7B-A1B v0.3

JAD-S1-7B-A1B v0.3 от DreamBlooms — LoRA-адаптер к inclusionAI/LLaDA-MoE-7B-A1B-Instruct, который превращает базовую модель в модель множественного выбора. На вход подаются состояние, вопрос и 2–26 вариантов с метками A–Z; адаптер за один forward pass возвращает распределение вероятностей по доступным буквам, без генерации текста и парсинга ответа. JAD расшифровывается как Just A Decision diffusion with masking, S1 — «System One».

👀 Ключевые особенности

• 🐾 LoRA r=8, alpha=16, targets q/k/v/o/gate/up/down; размер адаптера — 311 MB.
• 👉 Один forward pass и restricted-label readout: ответ — буква с максимальной вероятностью, без генерации объяснения.
• 💪 Лицензия Apache-2.0 для адаптера, кода и документации — коммерческое использование разрешено.
• 🍒 Поддержка английского и китайского; рекомендуется контекст 4,096 токенов, до 8,192 поддерживается.
• 😐 Это не универсальная чат-модель, а адаптер для multiple-choice решений; точность зависит от задачи.

💪 Пример

Сначала нужна базовая модель: в репозитории лежит только адаптер. Референсный запуск:

python inference.py --model inclusionAI/LLaDA-MoE-7B-A1B-Instruct \
    --adapter . --input example_tasks.jsonl --out preds.jsonl

Подробнее

JevBench v1.2.2: 195/231 (84,4%), hard tier — 77/111 (69,4%); против базы адаптер убирает 49% ошибок.
Kev — 75,44% на решение, VitaminC-dev — 83,1%.
Ограничения: 2–26 вариантов (рекомендуется 6), только EN/ZH; вероятности калиброваны на английских decision-данных, температуру можно переобучить.
На evidence/claim задачах при явно недостающих данных модель выбирает «not enough info» примерно в четверти случаев — абстенцию лучше проверять на своих примерах.