smollm3-math-sft

smollm3-math-sft — это continued SFT модели HuggingFaceTB/SmolLM3-3B (3,08 млрд параметров) на решениях GSM8K. Автор — AhmedElkhateeb1; это учебная Chapter 1 submission, а не обучение с нуля. Дообучение выполнено через LoRA, затем адаптеры merged в исходную 16-bit базу.

🔥 Ключевые особенности

• ✅ Continued SFT на train-сплите GSM8K; 256 примеров held-out для валидации.
• 🔥 LoRA r=16, alpha=32, dropout=0.05; learning rate=1e-4; 1 epoch; 16-bit LoRA.
• 📌 Примеры длиннее 1024 токенов исключены из обучения.
• 💻 Полная модель публикуется с merged adapters в исходной 16-bit base.
• ❗ Официальный GSM8K test не использовался для fine-tuning или выбора checkpoint.

📌 Пример

Сценарий из карточки: модель отвечает на математическую задачу в формате чата и должна выдать строгий финальный числовой ответ после ####. Локальная проверка использует greedy decoding, max_new_tokens=512 и фиксированный chat prompt.

Подробнее

Локальная валидация: 0.6094 → 0.7969, n=64; это не официальный Lighteval leaderboard.
Официальные оценки нужно брать из результатов HF Jobs evaluation.
Ограничения: возможны арифметические/логические ошибки; специализация может ухудшить другие задачи; валидация маленькая и с другим prompt.
VRAM и требования к железу в карточке не указаны.