Train Tracks Qwen2.5-1.5B LoRA
агент для пошагового решения головоломок
2 min readupdated
Train Tracks action policy — это LoRA (небольшая надстройка над базовой моделью) для компактной языковой модели Qwen2.5-1.5B-Instruct от автора zuhairsan. Адаптер не генерирует готовое игровое поле целиком за один ответ, а работает в связке с проверяющим движком (rule checker): на каждом ходу модель получает текущее состояние доски и список допустимых действий, после чего возвращает JSON с идентификатором выбранного шага. Решение строится только на корректных трассировках без ошибочных веток перебора. Подойдёт исследователям, изучающим пошаговое планирование (action policy) и интеграцию компактных LLM в игровые среды с внешним валидатором.
Ключевые особенности
- Пошаговый выбор действий: вместо генерации всего ответа модель выбирает один ID из меню разрешённых ходов, сформированного внешним парсером правил.
- Структурированный вывод: адаптер обучен отвечать строго в формате JSON вида
{"choice":"a00"}, что упрощает парсинг в цикле игры. - Обучение на чистых трассировках: модель тренировалась на 9 642 примерах из датасета
train-tracks-solving-traces, причём ошибочные попытки при обучении были исключены. - Компактная база: основана на Qwen2.5-1.5B-Instruct с параметрами LoRA rank 16 и alpha 32, поэтому легко запускается на скромном железе.
Что можно сделать
- Встроить в решатель Train Tracks: подключить адаптер к внешнему движку правил для автоматического прохождения головоломок пошагово.
- Использовать как бейзлайн для RL и планирования: взять за основу для экспериментов с выбором действий в дискретных логических играх с ограниченным меню ходов.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
repo = "zuhairsan/train-tracks-qwen2.5-1.5b-instruct-lora"
base = "Qwen/Qwen2.5-1.5B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(base, revision="989aa7980e4cf806f80c7fef2b1adb7bc71aa306", device_map="auto")
model = PeftModel.from_pretrained(model, repo)Подробнее
Бенчмарки: 96,9% решённых головоломок (31/32, 98,4% верных клеток) на внутренней тестовой выборке малых полей и 43,8% (14/32, 80,7% верных клеток) на средних полях.Обучение: 1 эпоха (586 шагов), 9 642 обучающих и 1 707 валидационных примеров, LoRA rank 16, alpha 32.
Ограничения: для работы требуется точный формат состояния поля, меню допустимых ходов и системный промпт из обучения; на средних головоломках 18 из 32 задач упёрлись в лимит 256 действий.










Comments