Signpost-Jev-4B
модель для структурированных решений и оценки по бенчмаркам
2 мин чтенияобновлено
Signpost-Jev-4B — это специализированная модель на базе Qwen3.5-4B, обученная принимать структурированные решения по стандарту JevBench. На вход она принимает состояние (в виде текста или JSON-записи) и типизированные вопросы, а на выходе выдает вероятности для каждого варианта ответа (истина/ложь, выбор из опций или шкалы). Модель не генерирует свободный текст, а производит каждый расчет за один проход через токены ответа. Она оптимизирована для работы в связке с сервером vLLM и пригодится разработчикам систем автоматического принятия решений и оценки данных.
Ключевые особенности
- Специализация: настроена под задачи принятия решений в стиле JevBench без генерации лишнего текста.
- Быстрая работа: выдает результат с медианной задержкой 44 мс на один запрос на GPU L40S.
- Архитектура: создана на базе Qwen3.5-4B с применением LoRA (небольшой надстройки над базовой моделью) с рангом 16 в fp16 с последующим слиянием весов.
- Точность: показывает высокую точность на публичных наборах данных бенчмарка JevBench (до 0.979 на легких задачах).
Что можно сделать
- Развернуть сервис: запустить модель на собственном сервере через vLLM для обработки запросов принятия решений.
- Анализировать структуры: передавать JSON-записи или тексты для оценки по заданным критериям и шкалам.
- Тестировать гипотезы: использовать для автоматизированного судейства и проверки структурированных ответов.
Пример
Запуск модели через сервер vLLM:
vllm serve skamalj/signpost-jev-4b --max-model-len 32768 --max-num-seqs 8 --logprobs-mode raw_logprobsПодробнее
Точность на бенчмарке JevBench: easy — 0.979 (48 элементов), original — 0.875 (72 элемента), hard — 0.730 (111 элементов), общая — 0.827.Медианная задержка: 44 мс на решение (vLLM на одной L40S).
Обучение: 2 эпохи на полном миксе данных, затем 1 короткая эпоха на сложных записях.
Лицензия: Apache-2.0.










Комментарии