Qwen3-1.7B-Base · Calc-gsm8k tool-calling SFT (40 steps)
дообучение модели для точных вычислений через инструменты
2 мин чтенияобновлено
Эта модель представляет собой результат короткого SFT (supervised fine-tuning, контролируемого дообучения) базовой модели Qwen/Qwen3-1.7B-Base на датасете Calc-gsm8k. Обучение учит нейросеть рассуждать внутри тегов и вызывать встроенный инструмент calculator для каждого арифметического действия. На выходе получается ассистент, который решает математические задачи по шагам и выдает итоговый ответ в тегах . Модель служит промежуточным этапом перед более сложным GRPO-обучением и подойдет разработчикам, изучающим работу LLM с внешними инструментами (tool-calling).
Ключевые особенности
- Обучена за 40 шагов методом LoRA (небольшая надстройка над базовой моделью для адаптации весов) на линейных слоях.
- Использует специальный формат чата с вызовом функции калькулятора и тегами рассуждений.
- Достигает 94% правильного использования инструментов на валидационном наборе.
- Веса объединены в базовую модель и сохранены в формате bfloat16 safetensors.
Что можно сделать
- Применить в кастомном пайплайне для решения текстовых задач по математике с проверкой вычислений через код.
- Настроить многошаговый цикл генерации с перехватом и выполнением вызовов инструмента
calculator. - Использовать как отправную точку для собственных экспериментов с GRPO или другими методами обучения с подкреплением.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "ichovpanTT/qwen3-1.7b-calc-gsm8k-sft40"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype="bfloat16", device_map="auto")
tools = [{"type": "function", "function": {
"name": "calculator",
"description": "Evaluate an arithmetic expression.",
"parameters": {"type": "object", "properties": {"expression": {"type": "string"}}, "required": ["expression"]},
}}]
messages = [
{"role": "system", "content": "You are a careful math assistant. Solve the problem step by step. Think inside and use the calculator tool for every arithmetic operation: reason about the step, call the tool, then continue from its result. When you are done, give the final numeric answer as number."},
{"role": "user", "content": "A shop sells pens at $3 each. How much do 17 pens cost?"},
]
ids = tok.apply_chat_template(messages, tools=tools, add_generation_prompt=True, enable_thinking=True, return_tensors="pt").to(model.device)
out = model.generate(ids, max_new_tokens=512)
print(tok.decode(out[0][ids.shape[1]:]))
Подробнее
Бенчмарки: Calc-gsm8k pass@1 — 39.6%, gsm-hard pass@1 — 22.8%Требования: библиотека transformers, поддержка bfloat16
Данные обучения: 7,273 примеров из MU-NLPC/Calc-gsm8k
Ограничения: модель узкоспециализирована на школьных арифметических задачах с одним инструментом и не является универсальным ассистентом.










Комментарии