Modeline-584B-A17B
RL-адаптер для игры в Celeste в реальном времени
2 min readupdated
Modeline-584B-A17B — это LoRA-адаптер (небольшая обучаемая надстройка над базовой моделью) для мультимодальной модели Inkling 2 Small от Thinking Machines, обученный с помощью RL (обучения с подкреплением) проходить классический платформер Celeste Classic в реальном времени на бенчмарке CelesteBench. Обучение проходило на платформе Tinker исключительно на процедурно сгенерированных уровнях, без доступа к комнатам из самого бенчмарка. По сравнению с базовой моделью адаптер заметно повышает стабильность прохождения начального участка, хотя и генерирует более длинные рассуждения на каждый ход. Модель пригодится исследователям RL-агентов, игровых бенчмарков и работы с MoE-архитектурами (Mixture-of-Experts, смесь экспертов).
Ключевые особенности
- Обучение методом GRPO: модель тренировалась на ~500 проверенных процедурных комнатах (30 шагов по 12 комнат и 8 прогонов) с наградой за выход из комнаты и прогресс к выходу.
- Полный охват слоёв: LoRA с параметрами rank 32 и alpha 32 применена ко всем линейным слоям (attention, MoE-экспертам и unembedding) и сохранена в float32 весом 16.7 ГБ.
- Рост стабильности в CelesteBench: средний результат вырос с 0.65% у базовой Inkling 2 Small до 1.07% в 300-секундных прогонах реального времени (режим thinking
low). - Специфичный формат Tinker: веса экспортированы через
save_weights_externalс именами модулей Tinker, поэтому не грузятся напрямую через стандартныйPeftModel.from_pretrainedбез переименования.
Что можно сделать
- Запустить в среде Tinker: загрузить адаптер через экспериментальный API external-weights upload и протестировать агента в реальном времени на CelesteBench.
- Изучить поведение RL-агентов в платформерах: проанализировать, как функция награды (учитывавшая прогресс в воздухе) сформировала стратегию прыжков в сторону выхода.
- Смержить веса вручную: переименовать модули под структуру чекпоинта на Hugging Face и применить дельты LoRA к деквантованным весам MoE-экспертов для инференса вне Tinker.
Пример
import json, requests, tinker
from huggingface_hub import hf_hub_download
repo = "lucrbrtv/Modeline-584B-A17B"
rest, service = tinker.RestClient(), tinker.ServiceClient()
start = rest.external_weights_upload_start(
base_model="thinkingmachines/Inkling-2-Small",
lora_config=tinker.types.LoraConfig(rank=32, train_unembed=True, train_mlp=True, train_attn=True)).result()
Подробнее
Бенчмарк CelesteBench RTC (300 с, thinking low): Modeline-584B-A17B набирает 1.07% (5 запусков) против 0.65% у Inkling 2 Small (7 запусков), уступая GPT 6 Astra (1.96%) и GPT 6.1 Sol medium (3.33%).Стабильно добирается до вершины первой колонны в 5 из 5 запусков (у базы — 2 из 7), но выше не поднимается.
Средняя длина ответа выросла со ~180 до ~440 токенов на решение, что замедляет отклик и увеличивает стоимость.
Ограничения: пока не поддерживается в transformers/PEFT, для vLLM/SGLang нужен BF16-чекпоинт (публичные весы в NVFP4/MXFP8), а загрузка в Tinker требует активации экспериментального API для организации.










Comments