ToolRL-DR-Full-Qwen2.5-3B

Это domain-randomized tool-use RL checkpoint, выпущенный вместе со статьёй When Simulation Lies: A Sim-to-Real Benchmark and Domain-Randomized RL Recipe for Tool-Use Agents и бенчмарком AgentRobustBench. Модель на базе Qwen2.5-3B-Instruct (3,4 млрд параметров) обучена по публичному рецепту ToolRL с GRPO; отличается набором данных — все тренировочные примеры заменены на perturbation-augmented версии.

🐆 Ключевые особенности

• 🦾 База — Qwen2.5-3B-Instruct, обучение по GRPO-рецепту ToolRL со structured format + correctness reward (max 4.0).
• 🐆 3 905 train + 79 val примеров, 100% perturbed: равномерно по 4 типам observation-, 6 action- и 6 reward-пертурбаций.
• ✅ Transition-пертурбации (runtime tool-failure) по построению исключены из обучения.
• 📉 Данные из ToolRL rlla_4k (ToolACE / Hammer / xLAM) и не пересекаются с evaluation seeds AgentRobustBench.
• Ⓜ Опубликован checkpoint step 150 (153 optimizer steps, ~9 ч 19 мин обучения).

💥 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo = 'willchow66/ToolRL-DR-Full-Qwen2.5-3B'
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(
    repo, torch_dtype='bfloat16', device_map='auto'
)

Подробнее

AgentRobustBench: clean accuracy 0.643 ± 0.065, perturbed 0.463 ± 0.016; Δ_Obs 0.009, Δ_Act 0.147, Δ_Rew 0.331, Δ_Trn 0.231.
Для сравнения public ToolRL на том же backbone — 0.638 ± 0.065 clean.
Обучение: 2x NVIDIA RTX 6000 Ada (48 GB), GRPO, step 150. Оценка — prompt mode, vLLM, bf16, temperature 0.0, max 1024 new tokens, max model length 8192.
Ограничения: только английский; transition-пертурбации исключены из обучения.