Qwen3-4B-SFT-Math-45k-ep3
математический SFT-чекпоинт на базе Qwen3-4B
2 min readupdated
Исследовательский чекпоинт языковой модели (LLM) объёмом 4,41 млрд параметров от авторов и сообщества Sea-Fill Community, созданный для решения сложных математических задач. На выходе модель генерирует подробную цепочку рассуждений внутри тегов ... , а затем выдаёт финальный ответ. Модель получена путём полного дообучения (full-parameter SFT — обновление всех весов модели) базовой Qwen3-4B-Base на 45 тысячах примеров из датасета OpenR1-Math-220k в течение трёх эпох. В отличие от рекомендованной второй эпохи (выпущенной отдельно как Qwen3-4B-SFT-Math), этот вариант выложен для воспроизведения экспериментов и изучения того, как меняется поведение модели при дальнейшем обучении.
Ключевые особенности
- Пошаговое решение математических задач с длинным блоком рассуждений
перед итоговым ответом. - Полное дообучение (full-parameter SFT) базовой архитектуры Qwen3-4B-Base с использованием фреймворка
verlи FSDP. - Публикация третьей эпохи обучения для анализа переобучения и сравнения с чекпоинтом второй эпохи.
- Работает со стандартным чат-шаблоном Qwen и завершает генерацию токеном
<|im_end|>.
Что можно сделать
- Использовать как отправную точку (warm-start) для собственных экспериментов с RL (обучением с подкреплением) в математическом домене.
- Сравнить качество и длину рассуждений между 2-й и 3-й эпохами дообучения на олимпиадных бенчмарках.
- Запускать через библиотеку
transformersдля локального решения олимпиадной математики на английском языке.
Пример
Для получения ответа модель запускается через стандартный чат-шаблон Qwen с увеличенным лимитом max_new_tokens для сложных задач. В результате генерации модель сначала выводит ход мыслей внутри … , а затем помещает финальный ответ в блок (boxed answer), завершая ответ токеном <|im_end|>.
Подробнее
Бенчмарк (100 олимпиадных задач: 30 AIME-2025, 30 AIME-2026 и 40 AMC-2023, 16 сэмплов на задачу): pass@1 составил 37,0% на 1-й эпохе, 38,9% на 2-й и 37,3% на 3-й.Ограничения: модель прошла только SFT на математике без этапа RL и не предназначена для роли универсального ассистента.
Детали обучения: 3 эпохи на сабсете из 45 тыс. строк OpenR1-Math-220k на суперкомпьютере MeluXina (LuxProvide).










Comments