Qwen2.5-3B GSM8K Distill
3B-модель с 84,1% на школьной математике
1 min read
Это файнтюн Qwen/Qwen2.5-3B от jiaeyan423 для англоязычных математических задач GSM8K. Обучение построено как sequence-level distillation: LoRA SFT на проверенных решениях Qwen2.5-7B-Instruct. Размер — 3,09B параметров, задача — text-generation, библиотека — transformers.
Ключевые особенности
- База — Qwen2.5-3B, 3,09B параметров.
- LoRA: rank 16, alpha 32, все linear-слои, learning rate 2e-4, 1 epoch.
- GSM8K test: 84,1% strict accuracy и 99,4% format rate.
- Дообучены embedding-строки
<|im_start|>/<|im_end|>через PEFTtrainable_token_indices— иначе LoRA не могла выучить<|im_end|>. - Адаптеры слиты в веса: для загрузки PEFT не нужен.
Пример
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Solve the following math problem. Reason step by step, then give the final answer on its own line in the form '#### <number>'.\n\nProblem: {question}".format(question=question)},
]
Подробнее
GSM8K test, 1 319 вопросов: 84,1% strict; у base — 6,8%, у teacher-7b — 41,8% strict и 91,2% с учётом boxed.Обучение: 1 epoch на фиксированном наборе из 2 000 вопросов, effective batch 16, cosine LR, loss только на токенах ответа; после фильтра осталось 1 930 решений.
Ограничения: только английские GSM8K-задачи, это не general chat model; safety-тюнинга сверх базовой модели нет, арифметические ошибки возможны.
Лицензия базовой модели — Qwen Research License.










Comments