QJev-1.5B
сверхбыстрая модель принятия решений за 31 мс
2 мин чтенияобновлено
Модель QJev-1.5B от автора devankit7873 решает задачу мгновенного выбора лучшего варианта из списка (до 10 штук) за один проход, не тратя время на долгую пословную генерацию текста. Она построена на базе Qwen/Qwen2.5-1.5B-Instruct (1.54B параметров), к которой прикрепили калиброванную голову классификации MLP (многослойный перцептрон) и дообучили слои внимания методом QLoRA на 655 806 примерах. Вместо ответа в стиле «Вариант А» за полсекунды на выходе сразу получается точное распределение вероятностей по всем предложенным действиям. Подойдёт разработчикам ИИ-агентов, роутеров запросов и робототехники, где критична скорость реакции на обычном железе.
Ключевые особенности
- Скорость около 31.5 мс: выдаёт около 32 решений в секунду за один прямой проход (forward pass).
- Скромные требования: занимает около 3.4 ГБ VRAM — запускается на обычных ноутбуках, edge-устройствах и недорогих VPS.
- Гибкий выбор до 10 вариантов: в отличие от более мелких бинарных моделей (только «да/нет»), динамически оценивает от 2 до 10 произвольных опций.
- Два формата в одном репозитории: полные объединённые веса (3.08 ГБ) для работы напрямую через
transformersи отдельный лёгкий адаптер LoRA (16.6 МБ) для экономии места.
Что можно сделать
- Роутинг в агентских системах: быстро определять приоритетное действие при инцидентах или сбоях (например, переключение на реплику базы данных вместо перезагрузки).
- Локальные и edge-приложения: встроить лёгкий адаптер поверх базовой Qwen на мобильных устройствах или автономных роботах без обращения к облачным API.
- Фильтрация и ранжирование сценариев: оценивать вероятность каждого из предложенных шагов с опорой на откалиброванную уверенность модели.
Пример
from predict import QJevModel
model = QJevModel(model_id_or_path="devankit7873/QJev-1.5B")
context = "Production database CPU is spiking at 99%. What is the immediate priority?"
choices = ["Failover to read replica immediately", "Restart the primary database instance", "Ignore the alert"]
result = model.predict(context=context, choices=choices)
print(result["recommended"], result["confidence"])
Подробнее
Бенчмарки: 71.50% в JevBench (против 60.2% у базовой версии) и 80.07% точности на внедоменных данных (OOD).Железо и память: ~3.4 ГБ VRAM для инференса; обучалась локально на RTX 5060 Laptop (8 ГБ VRAM, пик 5.90 ГБ) около 18.5 часов.
Ограничения и лицензия: поддерживает до 10 вариантов ответа за раз, распространяется под свободной лицензией Apache 2.0.










Комментарии