Llama-3.2-3B-Instruct-SFT-ALFWorld
стартовый чекпоинт для RL-агентов в ALFWorld
2 мин чтенияобновлено
Эта языковая модель (LLM) на 3.21B параметров решает интерактивные текстовые задачи в виртуальной среде ALFWorld (симулятор бытовых поручений, где агенту нужно планировать действия и взаимодействовать с объектами). Автор wayne-SFT провёл полное SFT-дообучение (supervised fine-tuning — обучение с учителем на готовых примерах) базовой meta-llama/Llama-3.2-3B-Instruct на 200 экспертных траекториях. Чекпоинт подготовлен как стартовая точка с помощью поведенческого клонирования (behaviour cloning) для дальнейшего обучения с подкреплением (RL — reinforcement learning). Подойдёт исследователям и разработчикам ИИ-агентов, которым нужна компактная база для экспериментов с RL в текстовых симуляторах без обучения с нуля.
Ключевые особенности
- Полнопараметрическое SFT-обучение на 200 экспертных играх исключительно из обучающей выборки ALFWorld.
- Итоговый показатель успешного выполнения задач (success rate) на валидации составил 73.3% в среднем по двум наборам сценариев.
- В шаблоне чата (
chat_template.jinja) дата жёстко зафиксирована на 26 Jul 2024 вместо динамической подстановки текущего времени. - Веса сохранены в исходной точности
fp32(все 255 тензоров в форматеsafetensors) без конвертации, хотя вconfig.jsonуказанbfloat16.
Что можно сделать
- Использовать модель как готовый стартовый чекпоинт для запуска RL-пайплайнов в среде ALFWorld.
- Запустить оценку агента на задачах планирования и сравнить поведение 3B-версии с более крупным вариантом
Llama-3.1-8B-Instruct-SFT-ALFWorldот того же автора.
Пример
Сценарий использования из карточки: модель подключают к окружению ALFWorld в качестве базовой политики для последующего RL-дообучения. На вход подаются текстовые описания комнаты, доступные действия и цель из набора ALFWorld, а на выходе модель генерирует последовательность шагов для выполнения задания, достигая 76.8% успеха на знакомых типах задач и 69.8% на новых.
Подробнее
Метрики на dev-set (усреднено по 4 сидам): общий success rate 73.3% (valid_seen — 76.8%, valid_unseen — 69.8%).Параметры обучения: шаг 30 из 50 (1 эпоха, 200 игр), learning rate 1e-5, global batch 64, максимальная длина последовательности 1280 токенов.
Размер весов: 3 файла
safetensors общим объёмом ~14.4 ГБ из-за формата fp32 (при загрузке через transformers учтите расхождение с полем bfloat16 в конфиге).Лицензия: Llama 3.2 Community License.










Комментарии