Nirnay-0.5B-v0-beta
модель мгновенных решений за 28 мс
2 min readupdated
Компактная неавторегрессионная модель от ftpxain, построенная на базе Qwen2.5-0.5B (494M параметров) методом дистилляции (переноса знаний от более крупных моделей). Вместо долгой посимвольной генерации ответа она выдает откалиброванные вероятности за один прямой проход (forward pass), работая по принципу «Системы 1» (быстрого интуитивного суждения). За счет отказа от тяжелой языковой головы на 152 тысячи токенов и KV-кэша модель занимает всего 1,4 ГБ VRAM и выдает более 35 решений в секунду. Подойдет разработчикам ИИ-агентов и пайплайнов, которым нужна моментальная фильтрация или маршрутизация запросов без задержек.
Ключевые особенности
- Без генерации токенов: извлекает скрытое состояние последнего токена и напрямую проецирует его на веса заданных вариантов ответа.
- Три режима работы:
noulдля бинарных проверок (да/нет),choiceдля выбора из списка категорий иscoreдля выставления оценок по шкале от 0 до 5. - Калибровка вероятностей: обучение на мягких распределениях (soft-target distillation) и функция потерь Ranked Probability Score позволяют получать адекватную уверенность в ответе.
- Минимальные требования: весит 988 МБ (
.safetensors) и работает в BF16 на ноутбучной RTX 4050 (6 ГБ) со средней задержкой 27,45 мс.
Что можно сделать
- Маршрутизация обращений: мгновенно распределять входящие тикеты пользователей по нужным отделам поддержки или выбирать подходящий инструмент для ИИ-агента.
- Модерация и guardrails: использовать как сверхбыстрый бинарный фильтр безопасности или проверки соблюдения правил перед запуском основной LLM.
- Автоматическая оценка качества: выставлять баллы отзывам клиентов или ответам нейросетей по шкале от 0 до 5 без привлечения дорогих моделей-судей.
Пример
from src.infer import NirnayEngine
engine = NirnayEngine.from_pretrained("ftpxain/nirnay-0.5b-v0-beta")
result = engine.decide(
state="Customer query: 'Where can I download my annual billing receipt?'",
question="Which department should handle this request?",
options=["Technical Support", "Billing & Invoices", "Sales"],
kind="choice",
)
print(result.decision, result.probabilities)
Подробнее
Бенчмарк S1MB (137 задач, 14 009 кейсов): общий балл 7.17 (Noul: 10.77, Choice: 10.26, Score: 0.48), обходит JevForge-0.8B (1.92).Тесты дистилляции: точность 99.60% (27.45 мс) на in-distribution (
test_set_30k) и 73.00% (40.27 мс) на out-of-distribution.Статус релиза:
v0-beta — модель обучена на 48% датасета jev-distill-corpus-v3 (316 560 из 655 806 примеров) с 16-bit LoRA (r=16, alpha=32).Железо и ограничения: замеры проведены на NVIDIA RTX 4050 Laptop (6 ГБ VRAM) в BF16; контекст документов при обучении ограничен ~1500 токенами; поддерживает только английский язык.










Comments