Verdin-4B v1.2
вероятности по вариантам вместо генерации текста
2 min readupdated
Модель решает не задачу свободного ответа, а выбор из заранее заданных вариантов: получает состояние и вопрос с именованными опциями, а на выходе даёт вероятность для каждого варианта и отдельный выход для неизвестного. Сделана на базе Qwen/Qwen3.5-4B: LoRA r16 (небольшая надстройка над базовой моделью) обучена на 256 153 строках DI-rendered public rows, затем слита с базой и сконвертирована в runtime verdin в bf16. От обычной LLM отличается тем, что не генерирует текст, а возвращает нормализованные вероятности по списку опций. Пригодится в пайплайнах, где нужно ранжировать или выбирать вариант по состоянию, а не получать связный ответ.
Ключевые особенности
- На входе — состояние, вопрос и именованные варианты; на выходе — вероятность каждого варианта плюс unknown-голова.
- База — Qwen/Qwen3.5-4B; LoRA r16, lr 5e-5, 1 эпоха, 256 153 строки, seed 0; LoRA слита, веса в bf16.
- Публичный suite 0.3: 140 178 запросов, coverage 1.0, index 61.40 / raw 70.85.
- Калибровка только для точного ключа
NONE: сдвиг логита δ = T·ln(0.0067), T = 1.7411; опции не удаляются, промпты не обрезаются, вероятности нормализованы. - Serving:
verdin.server/v1/systemone; заявленная ёмкость max_state 262 144 / max_branch 263 168 / max_packed 524 288, без обрезания.
Что можно сделать
- Ранжировать действия агента: передать состояние и список вариантов, получить вероятности и выбрать порог отсечения.
- Прогнать Decision Index-сценарии на публичном наборе и сравнить index/raw со своими пайплайнами.
- Поднять сервис на
/v1/systemoneдля задач, где нужен не текст, а распределение по опциям. - Учитывать вероятность
NONEи unknown-голову при отборе — например, чтобы отсеивать сомнительные варианты.
Пример
Сценарий: состояние — «пользователь просит вернуть товар», вопрос — «какое действие выбрать?», варианты — return, exchange, NONE. Модель вернёт вероятности для каждого варианта и unknown-головы, а не текстовое объяснение. По этим числам уже можно выбрать действие или отправить запрос на ручную проверку.
Подробнее
Публичный suite 0.3: index 61.40, raw 70.85 на 140 178 запросах, coverage 1.0.База Qwen/Qwen3.5-4B; LoRA r16, lr 5e-5, 1 эпоха, 256 153 строки, seed 0; LoRA слита, bf16.
Калибровка только для точного ключа
NONE: δ = T·ln(0.0067), T = 1.7411; вероятности нормализованы.Ограничение: модель не генерирует текст — только вероятности по именованным вариантам.










Comments