Qwen3-4B-ALFWorld-GRPO-step200
агентская модель для текстовых сред
2 мин чтенияобновлено
Полные веса языковой модели на базе Qwen3-4B (4,41 млрд параметров), дообученной автором PassionPrc для пошагового выполнения задач в интерактивной текстовой среде ALFWorld. Вместо стандартного обучения с учителем здесь применили алгоритм GRPO (обучение с подкреплением на основе групповых оценок ответов) без отдельной модели наград и без демонстраций от экспертов — модель училась на прямых откликах среды в формате ReAct. На выходе она генерирует текстовые действия, которые затем передаются во внешний цикл агента. По сравнению с базовой Qwen3-4B, дообученная версия почти в три раза улучшила результат на тестовом наборе задач ALFWorld. Подойдёт разработчикам и исследователям автономных ИИ-агентов, работающих со средами AgentGym и VERL.
Ключевые особенности
- Полнопараметрический GRPO: релиз содержит полные веса модели в формате BF16 (два шарда safetensors), а не LoRA-адаптер.
- Работа без режима размышлений: нативный thinking mode в Qwen3 при обучении был отключён, хотя протокол действий допускает обычные текстовые блоки
Thought:. - Обучение на 25 600 эпизодах: 200 шагов по 16 задач из пула в 2 420 ID и 8 прогонов на каждую задачу без кросс-доменного синтетического SFT.
- Длинные многоходовые сессии: при обучении допускалось до 30 шагов взаимодействия со средой, до 512 новых токенов за ход и до 8 192 токенов на эпизод.
Что можно сделать
- Запустить в цикле ReAct-агента: подключить модель к симулятору ALFWorld через драйвер VERL и окружения AgentGym для выполнения многошаговых инструкций.
- Использовать как базу для экспериментов с RL: продолжить обучение с подкреплением, так как автор остановил процесс на бюджете в 200 шагов, а не из-за исчерпания потенциала модели.
- Сравнивать агентские пайплайны: применять чекпоинт как готовый ориентир при тестировании текстовых агентов без нативного thinking mode.
Пример
model_id = "PassionPrc/Qwen3-4B-ALFWorld-GRPO-step200"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": observation_with_task_and_action_instructions}]
input_ids = tokenizer.apply_chat_template(
messages, tokenize=True, add_generation_prompt=True, enable_thinking=False, return_tensors="pt"
).to(model.device)
output = model.generate(input_ids, max_new_tokens=512)
Подробнее
На тестовом наборе AgentGym (200 задач из сплита ALFWorldvalid_train, лимит 20 ходов, усреднение по 8 прогонам) модель набрала 89,1875 балла против 30,0625 у исходной Qwen3-4B.Оценка проводилась на сплите
valid_train (не unseen) и с отключённым enable_thinking — работа с включённым режимом размышлений не валидировалась.Веса сами по себе не включают среду: для работы нужен внешний цикл агента, который парсит действия и возвращает наблюдения из ALFWorld.
Параметры обучения: learning rate 1e-6, коэффициент KL-loss 0.001, seed 42; лицензия Apache-2.0.










Комментарии