OR-decision-4B

Адаптер LoRA rank 16 от alphaXiv для базовой модели Qwen/Qwen3.5-4B, обученный отвечать на типизированные вопросы: да/нет (noul), выбор из вариантов (choice) и порядковые оценки (score). В репозитории лежат сам адаптер, токенизатор и небольшой хелпер для инференса; базовая модель Qwen скачивается отдельно. Вместо генерации текста модель оценивает логиты токенов-идентификаторов вариантов и нормирует их по списку опций.

⚙️ Ключевые особенности

• 🎯 Три режима решений: бинарный, multiple choice и ordinal score
• 🔤 Vocabulary-readout классификатор: скоринг токенов-опций, а не обычная чат-генерация
• 📦 До 62 различных меток вариантов и окно 4 096 токенов
• 🧪 Обучение на 117 186 примерах (2 эпохи), в миксе — классификация, рассуждения и синтетика с распределениями Qwen-учителя
• 📄 Лицензия Apache-2.0, экспорт через PEFT

💻 Пример

from decision import decision_probabilities
probs = decision_probabilities(
    model, tokenizer,
    context="The customer needs a copy of an invoice.",
    instructions="Which department should handle this request?",
    options=[("billing", "Invoices"), ("technical_support", "Devices")],
    kind="choice")

Подробнее

JevBench: 193/231 — 83.55% против 76.19% у базовой Qwen3.5-4B
Фиксированная валидация: 754/1 024 — 73.63%, gold-label NLL 0.6549
Чекпоинт выбран по NLL, а не по accuracy; валидация переиспользовалась при отборе, один seed и 231 задача — малые различия не считать надёжными
Калибровка вероятностей в новом приложении не гарантируется; мультимодальные способности базовой модели не оценивались