smollm3-math-sft
математический SFT для SmolLM3-3B
1 min read
smollm3-math-sft — это continued SFT модели HuggingFaceTB/SmolLM3-3B (3,08 млрд параметров) на решениях GSM8K. Автор — AhmedElkhateeb1; это учебная Chapter 1 submission, а не обучение с нуля. Дообучение выполнено через LoRA, затем адаптеры merged в исходную 16-bit базу.
Ключевые особенности
- Continued SFT на train-сплите GSM8K; 256 примеров held-out для валидации.
- LoRA r=16, alpha=32, dropout=0.05; learning rate=1e-4; 1 epoch; 16-bit LoRA.
- Примеры длиннее 1024 токенов исключены из обучения.
- Полная модель публикуется с merged adapters в исходной 16-bit base.
- Официальный GSM8K test не использовался для fine-tuning или выбора checkpoint.
Пример
Сценарий из карточки: модель отвечает на математическую задачу в формате чата и должна выдать строгий финальный числовой ответ после ####. Локальная проверка использует greedy decoding, max_new_tokens=512 и фиксированный chat prompt.
Подробнее
Локальная валидация: 0.6094 → 0.7969, n=64; это не официальный Lighteval leaderboard.Официальные оценки нужно брать из результатов HF Jobs evaluation.
Ограничения: возможны арифметические/логические ошибки; специализация может ухудшить другие задачи; валидация маленькая и с другим prompt.
VRAM и требования к железу в карточке не указаны.










Comments