Canyon Racer LFM2.5-230M
языковая модель, которая играет в аркаду для Game Boy
2 мин чтенияобновлено
Чекпоинт с политикой для прохождения игры Canyon Racer (порт с Game Boy на C++), обученный методом обучения с подкреплением PPO (алгоритм оптимизации действий агента через награды и штрафы). В основе лежит компактная языковая модель LiquidAI/LFM2.5-230M с LoRA-адаптером (небольшой обучаемой надстройкой над весами). Вместо стандартной генерации текста модель получает текстовое описание экрана — координаты корабля, стены каньона и препятствия — и выдаёт одно из семи игровых действий. Пригодится разработчикам, изучающим применение компактных LLM в качестве игровых агентов и связку RL с инференсом через GGUF.
Ключевые особенности
- Нестандартный инференс: модель не просто берёт самый вероятный следующий токен, а суммирует вероятности всех словарных вариантов каждого действия и прибавляет обученный вектор смещения (
action_prior). - Компактная база: построена на LFM2.5-230M с LoRA (rank 8, alpha 16, 164 тензора на все линейные слои), что позволяет запускать агента даже на слабом железе.
- Обучение на реальном порте игры: тренировка шла методом PPO на протяжении 360 итераций (737 280 решений в 64 параллельных средах) с наградой за очки и штрафом за столкновения.
- Сырой PyTorch-чекпоинт: файл
policy_latest.ptсодержит веса LoRA,value_headдля оценки состояний, системный промпт и гиперпараметры.
Что можно сделать
- Влить LoRA-веса в базовую модель LFM2.5-230M с помощью PEFT и сконвертировать полученный чекпоинт в формат GGUF (Q8_0) для запуска через llama.cpp.
- Использовать чекпоинт вместе с
value_headдля продолжения обучения агента в C++-среде Canyon Racer. - Разобрать пайплайн перевода игрового состояния в текстовый промпт и агрегации вероятностей токенов как шаблон для своих RL-экспериментов с LLM.
Пример
import torch
from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM
base = AutoModelForCausalLM.from_pretrained("LiquidAI/LFM2.5-230M", dtype=torch.float32)
model = get_peft_model(base, LoraConfig(r=8, lora_alpha=16, target_modules="all-linear", task_type="CAUSAL_LM"))
ckpt = torch.load("policy_latest.pt", map_location="cpu", weights_only=False)
model.load_state_dict({k[3:]: v for k, v in ckpt["state_dict"].items() if k.startswith("lm.") and "lora_" in k}, strict=False)
Подробнее
Оценка на 368-й итерации: в среднем 1410 кадров выживания, максимальный счёт — 162 (лучший результат за время тестов — 420), доля невалидных токенов — 0.020.На сиде 1011 (120 решений) и PyTorch-чекпоинт, и квантованная версия GGUF Q8_0 набирают одинаковые 480 кадров и 50 очков.
Лицензия производная от порта игры: CC-BY-NC-SA 4.0 (только некоммерческое использование).










Комментарии