Qwen2.5-1.5B-Instruct · Sokoban · GRPO (step 300)
компактная LLM учится решать головоломки
2 min readupdated
Это дообученная версия языковой модели Qwen2.5-1.5B-Instruct (1,78 млрд параметров) от автора Elrond1701, натренированная проходить текстовую версию игры Sokoban (нужно расставлять ящики по целевым клеткам на поле 6×6). Обучение проводилось методом многошагового RL (обучения с подкреплением) с алгоритмом GRPO на протяжении 300 шагов. В отличие от базовой модели, которая почти не справляется с задачей, этот чекпоинт научился планировать последовательность ходов в строгом машинном формате. Модель пригодится исследователям и разработчикам ИИ-агентов как лёгкий эталон для экспериментов с RL-алгоритмами в пошаговых средах.
Ключевые особенности
- Продолженное RL-обучение: чекпоинт продолжает 150-шаговую версию и доведён до 300 шагов с 8 генерациями (rollouts) на каждую головоломку.
- Строгий формат вывода: модель генерирует по 1–2 действия за ход (
Up,Down,Left,Rightчерез||) внутри тегабез лишнего текста. - Работа с координатами и картой: на вход подаётся символьная сетка поля 6×6 с двумя ящиками, координаты объектов и история двух последних ходов.
- Стек обучения: тренировка выполнена во фреймворках
verl 0.6.1иverl-agentс использованиемvLLM, веса сохранены в форматеbfloat16.
Что можно сделать
- Сравнить RL-алгоритмы: использовать модель как бейзлайн для сопоставления с родственными чекпоинтами автора на базе GiGPO, Tree-GRPO и RegPO.
- Встроить в тестового агента: подключить к среде
gym-sokobanдля проверки многошагового планирования без цепочек рассуждений (режим no-thinking). - Протестировать на новых полях: оценить, как модель переносит навык на комнаты 6×6 с другой глубиной генерации головоломок.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Elrond1701/qwen2.5-1.5b-sokoban-d8-grpo-step300"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16", device_map="auto")
prompt = open("prompt.txt").read()
ids = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**ids, max_new_tokens=16, do_sample=False)
print(tok.decode(out[0][ids["input_ids"].shape[1]:], skip_special_tokens=True))Подробнее
Метрикаval/regret_sokoban/success_rate (на 512 фиксированных задачах, temperature 0.4): выросла с 6,2% у необученной базы и 15,3% на 150-м шаге до 39,6% на 300-м шаге (пик — 41,9% на 260-м шаге).Важное уточнение автора: метрика отражает долю строк валидации с положительным возвратом (взвешенную по ходам), а не чистый процент побед в играх; отдельный 3-seed тест не проводился.
Ограничения среды: максимум 10 ходов по 2 действия (всего 20 движений), штраф −0,5 за нарушение формата или лишний текст после
.









Comments