CoPE on ALFWorld (Qwen2.5-7B)
агентское обучение с прогнозированием действий
2 min readupdated
Перед нами версия языковой модели Qwen2.5-7B-Instruct (7.62B параметров), дообученная для выполнения многошаговых задач в интерактивной среде ALFWorld. Автор применил метод CoPE, который сочетает алгоритм обучения с подкреплением GRPO (обучение модели через оценку серии её попыток) и дополнительную функцию потерь action-forecast — модель учится не только выбирать текущий шаг, но и предсказывать следующие действия. В отличие от базовой модели, этот чекпоинт заточен под пошаговое планирование и взаимодействие с окружением в пределах 20 раундов. Веса сконвертированы из FSDP-чекпоинта библиотеки verl в формат bfloat16 для стандартного запуска через transformers.
Ключевые особенности
- Метод обучения CoPE: комбинация GRPO и вспомогательного прогнозирования действий (action-forecast с горизонтом K=3 и фильтрацией только успешных траекторий).
- Специализация на ALFWorld: обучение проходило на интерактивных текстовых сценариях с лимитом до 20 шагов и 512 токенов на каждый ход.
- Готовый формат весов: объединенные веса модели сохранены в
bf16без состояний оптимизатора, что позволяет сразу запускать инференс в Hugging Face Transformers.
Что можно сделать
- Запустить в бенчмарках и симуляторах: протестировать качество пошагового планирования агента в текстовой среде ALFWorld и сравнить поведение с базовой Qwen2.5-7B-Instruct.
- Изучить эффект action-forecast: использовать чекпоинт для экспериментов с RL-дообучением агентов, сравнивая его с соседним вариантом релиза (
seed1-step175).
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "skyyyyks/cope-alfworld-qwen2.5-7b-seed2-step225"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")Подробнее
Метрики на тренировочном батче (16 задач × 8 генераций): 1.000 на шаге 225 и 0.892 в среднем за шаги 216–225 (не является оценкой на отложенной выборке).Параметры обучения: шаг 225 из 264 (2 эпохи, seed 2), lr 1e-6, KL 0.001, entropy 0.002, коэффициент action forecast 0.01.
Обучение проводилось на 4× GPU H20; в репозитории отсутствуют состояния оптимизатора для продолжения обучения.










Comments