Mat-Classifier-0.5B

Модель от автора shimbaaa на backbone Qwen/Qwen2.5-0.5B. Это неавторегрессионный multi-task decision engine: по математической задаче он за один проход выдаёт структурированные оценки через три параллельные головы.

⚙ Ключевые особенности

• 🎯 Noul Head: бинарный флаг — требует ли задача нескольких шагов рассуждения.
• 🗂 Choice Head: 5 классов предметной области — арифметика, вероятность, уравнения/алгебра, дроби/проценты, геометрия.
• 📌 Score Head: порядковая оценка сложности по шкале от 0 до 4.
• 🔄 Неавторегрессионная схема: решения снимаются с pooled hidden state, без генерации токенов.
• ⚡ Компактный backbone 0.5B и три головы, подключённые напрямую.

🚀 Пример

from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained('shimbaaa/mat-classifier-0.5b')

# Qwen25_05B_DecisionEngine: backbone Qwen2.5-0.5B + 3 головы
# forward возвращает noul_raw, choice_logits и score_logits

Подробнее

На 7 473 предобработанных задачах GSM8K: Noul — 99,75%, Choice — 99,61%, Score — 99,05%.
Модель оценивает только математические входы; другие домены в карточке не заявлены.
Требования к VRAM и детали обучения не указаны.