AtmosRegime-Qwen3-8B-SFT-RL

Файнтюн Qwen3-8B (8,19 млрд параметров) от автора codercat, сделанный по рецепту из статьи Language models misapply atmospheric formulas until trained on a few worked examples. Сначала модель дообучили на нескольких проверенных разобранных примерах, затем докрутили reinforcement learning. На выходе — Python-программа с функцией solve().

✨ Ключевые особенности

• 🌍 База — Qwen3-8B с выключенным thinking, обучение под один конкретный формат промпта
• 📓 SFT на «worked examples»: это программы, которые базовая модель написала при известной формуле, проверенные исполнением и соединённые с задачей без формулы
• 🔥 Второй шаг — RL: DAPO в verl с наградой за ответ
• 💻 Отвечает кодом на Python, определяющим solve(); исполнение и оценка лежат в репозитории
• ✅ Лицензия Apache 2.0, как у базовой модели

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from atmoscoder_rl.prompts import chat

name = "codercat/AtmosRegime-Qwen3-8B-SFT-RL"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, torch_dtype="auto", device_map="auto")
text = tok.apply_chat_template(chat(problem), tokenize=False, add_generation_prompt=True, enable_thinking=False)

Подробнее

В статье такой маршрут чинит механизмы, которые не выучил один RL: accuracy вне режима растёт на 61 пункт.
Обучение: одна эпоха SFT, затем DAPO (lr 1e-6, 128 задач × 8 сэмплов на шаг, 120 шагов), seed 42, 29 из 70 механизмов.
Это один fold и один seed — цифры статьи по двум fold и двум seed им не воспроизвести.
Проверено только на задачах из тех же шаблонов; универсальным ассистентом по атмосферным наукам модель не является.