RockAndEgg-313M-v3
компактная модель на базе Qwen3 для калиброванных решений без генерации текста
2 мин чтенияобновлено
Эта модель размером 313M параметров не пишет текст и не имеет языковой головы — вместо этого она принимает структурированные решения с откалиброванными вероятностями. В её основе лежит урезанная до 10 слоёв (из 28) замороженная основа от Qwen3-0.6B-Base, к которой разработчик moeshawky прикрепил компактную голову принятия решений SystemOne на 268 тысяч параметров. На вход подаётся одно состояние (state) и набор типизированных вопросов, а на выходе модель выдаёт вероятности по вариантам и показатель уверенности. Решение пригодится в пайплайнах, где вместо свободного текста нужен предсказуемый выбор категории, оценка по шкале или отказ от ответа.
Ключевые особенности
- Три типа решений:
choice(выбор одного варианта),score(оценка по упорядоченной шкале) иnoul(решение, стоит ли вообще отвечать). - Инвариантность к порядку: перестановка вариантов ответа или вопросов в запросе не меняет итоговые вероятности (отклонение 0.0 по тестам).
- Два формата точности в одном репозитории: в корне лежат веса FP32 (около 1,25 ГБ), а в папке
fp16/— версия FP16 (около 626 МБ) с практически идентичной калибровкой. - Замороженная база: весовые коэффициенты основы на 312,9M параметров побитово идентичны версии v2 — дообучалась только сама голова на корпусе SargeDev/jev-distill-corpus-v3.
Что можно сделать
- Маршрутизация и сортировка запросов: направлять входящие обращения по нужным веткам обработки с опорой на калиброванную уверенность модели.
- Оценка сгенерированного контента: выставлять баллы ответам других нейросетей или найденным документам по заданным критериям через тип
score. - Фильтрация с правом отказа: использовать тип
noulв пайплайнах извлечения данных, чтобы система воздерживалась от ответа при нехватке информации.
Пример
from transformers import AutoModel
# Загрузка основной версии FP32
model = AutoModel.from_pretrained("moeshawky/RockAndEgg-313M-v3", trust_remote_code=True)
# Или облегчённой версии FP16 (626 МБ)
model_fp16 = AutoModel.from_pretrained("moeshawky/RockAndEgg-313M-v3", subfolder="fp16", trust_remote_code=True)
Подробнее
Метрики на отложенной выборке test_set_30k (29 955 примеров): точность (Accuracy) — 0.5263, ошибка калибровки (ECE) — 0.03656 для FP32 и 0.03677 для FP16.Обучение головы заняло 1 эпоху (5 002 шага, 80 000 примеров) на двух видеокартах NVIDIA Tesla T4 за ~57 минут.
Ограничения: модель работает только на английском языке, не умеет генерировать текст и не является универсальным классификатором вне логики своего обучающего корпуса; при использовании требуется упоминание датасета SargeDev/jev-distill-corpus-v3 (лицензия Apache-2.0).










Комментарии