Cevra Math Decisions v2

Это полная merged-модель на базе Qwen/Qwen3.5-4B (4,66 млрд параметров), дообученная выдавать распределение вероятностей по категориям математических задач. Автор — EugeneEvstafev; модель обучена в режиме Tinker Decision Model с LoRA-адаптером и soft-label objective.

📝 Ключевые особенности

• 🤓 Скорит варианты категорий, а не генерирует ответ: вероятность считается по логитам decision-токенов.
• 📝 Обучена на синтетических вариантах из MATH-500: 3 622 train, 458 validation и 458 held-out test.
• 👌 LoRA rank 16, 227 шагов, batch size 16, lr 0.0001, max sequence length 2 048.
• 🫡 На held-out тесте merged-модель дала 69,8690% argmax agreement против 57,6419% у базовой HF-модели.
• 🤔 Работает с типом decision choice; для других типов решений заявленной производительности нет.

⌨ Пример

from transformers import AutoModelForImageTextToText, AutoTokenizer
import torch
model_path = "EugeneEvstafev/cevra-math-decisions-v2"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForImageTextToText.from_pretrained(
    model_path, dtype=torch.bfloat16, device_map={"": "cuda:0"}
).eval()
# затем DecisionRenderer из tinker_cookbook и softmax по логитам меток

Подробнее

На 458 held-out примерах: argmax agreement 69,8690%, Distribution Brier 0,059772, Probability MAE 0,042011.
У базовой HF-модели: 57,6419%, 0,169736 и 0,076854 соответственно.
Цели обучения синтетические, вероятности не гарантируют калибровку; возможны математические ошибки.
Лицензия исходного MATH-500 не указана — права на производные требуют проверки.