agentevolver-bfcl-qwen3-8b-base-grpo
чекпоинты обучения Qwen3-8B на BFCL
2 min readupdated
Автор JunjieMeng выложил набор из 20 промежуточных чекпоинтов (сохранений весов) языковой модели Qwen3-8B, дообученной методом GRPO (алгоритм обучения с подкреплением без отдельной модели-критика) на наборе задач BFCL multi_turn_base. Этот бенчмарк проверяет способность моделей вызывать внешние функции и API в многошаговых диалогах. В отличие от обычных релизов, где доступен только финальный файл, здесь сохранены срезы каждые 10 шагов — от 10-го до 200-го, что позволяет отследить динамику роста качества. Репозиторий пригодится разработчикам ИИ-агентов для вызова инструментов, а также исследователям, изучающим кривые обучения в RL.
Ключевые особенности
- 20 полных BF16-чекпоинтов с шагом в 10 итераций — в каждой подпапке лежат веса, конфиг, токенизатор и чат-шаблон.
- Пиковое качество на валидации зафиксировано на 150-м шаге (
checkpoint-150), где метрика Mean@8 достигла 62.750%. - Обучение стартовало с оригинальной Qwen3-8B с параметрами 32 задачи на раунд и 8 генераций (rollouts) на задачу.
- Простая загрузка нужного этапа обучения через стандартную библиотеку
transformersс указанием параметраsubfolder.
Что можно сделать
- Взять лучший срез
checkpoint-150в качестве основы для ИИ-агентов и ботов, которым нужно корректно вызывать функции в длинных многошаговых сценариях. - Сравнить поведение модели на разных этапах обучения (например, 10-й, 100-й и 150-й шаги), чтобы проанализировать влияние GRPO на точность вызова инструментов и переобучение после пика.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "JunjieMeng/agentevolver-bfcl-qwen3-8b-base-grpo"
step = "checkpoint-150"
tokenizer = AutoTokenizer.from_pretrained(repo, subfolder=step)
model = AutoModelForCausalLM.from_pretrained(repo, subfolder=step, device_map="auto")
Подробнее
Лучший результат на валидации (100 задач, 8 траекторий на задачу): шаг 150 — Mean@8 62.750%, Pass@8 66.00% (на шаге 10 было 34.875% и 36.00%).Детали обучения: 200 шагов GRPO от базовой Qwen3-8B, 32 задачи на раунд, 8 rollouts на задачу, seed 2027, формат весов BF16.










Comments