PhantomReasoning-Qwen3-1.7B-gsminf

Это RL-файнтюн Qwen/Qwen3-1.7B от kilian-group, обученный через GRPO на синтетических задачах GSM-Infinite. Модель содержит 2,03 млрд параметров и предназначена для text-generation; работа основана на статье Learning from Synthetic Data Improves Multi-hop Reasoning (ICLR 2026).

🔥 Ключевые особенности

• ✨ Обучение на GSM-Infinite: zero-context, realistic, сложность medium, 2–20 операций.
• ✅ Использованы первые 10 000 из 10 096 задач синтетического датасета.
• 🦾 GRPO RL fine-tuning поверх Qwen3-1.7B, чекпоинт воспроизводим по рецепту из репозитория.
• ⬇ В релизе есть и меньший вариант — PhantomReasoning-Qwen3-0.6B-gsminf.
• 🤯 В карточке описаны скрипты оценки на GSM-Infinite и real-world multi-hop QA.

✅ Пример

git clone https://github.com/kilian-group/phantom-reasoning.git
cd phantom-reasoning
./scripts/download_data.sh data

accelerate launch --num_processes 4 \
  --config_file recipes/accelerate_configs/zero1.yaml \
  src/phantom_reasoner/grpo.py \
  --config recipes/Qwen/Qwen3-1.7B/grpo/config_gsminfinite_4gpu.yaml

Подробнее

Обучение: 4× H100 80GB, около 22 часов.
Чекпоинт обучен с TRL 0.21.0 и Transformers 4.55.0; рецепт в main обновлён под новый TRL.
Данные: GSM-Infinite, zero-context, medium, 2–20 операций; взяты 10 000 из 10 096 задач.
Готовых цифр бенчмарков в карточке нет — только скрипты оценки на GSM-Infinite и multi-hop QA.