hal-rock/qwen3-4b-maze-grpo-fft
модель Qwen3-4B, обученная подкреплением в лабиринте
2 мин чтения
Эта модель представляет собой полностью дообученную версию Qwen3-4B-Instruct-2507 (языковой модели на 4 миллиарда параметров) с помощью алгоритма Dr. GRPO (метод обучения с подкреплением для языковых моделей). Эксперимент исследует, как обучение с подкреплением (RL (обучение с подкреплением)) меняет предсказания модели об окружении в специальном эмодзи-лабиринте. На выходе модель выдает предсказания шагов для навигации по тайлам. Она предназначена для исследователей в области ИИ и изучения динамики обучения языковых моделей.
Ключевые особенности
- Четыре чекпоинта: обучена до пика на 25-м шаге и до финала на 95-м шаге с разными конфигурациями наград.
- Среда лабиринта: сетка 100х100, где агенту нужно совершать ходы по тайлам с золотом и плесенью.
- Учет ветра: в симуляцию заложена вероятность случайного смещения агента.
- Метод обучения: Dr. GRPO (алгоритм оптимизации политики на основе групп) с шагами AdamW и fp32-весами под bf16.
Что можно сделать
- Исследовать поведение: протестировать способность модели ориентироваться в символьных лабиринтах.
- Сравнить чекпоинты: проанализировать разницу между пиком обучения на 25-м шаге и финальным состоянием на 95-м шаге.
- Запустить инференс: загрузить конкретные чекпоинты (main или swap) через transformers для анализа предсказаний.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "hal-rock/qwen3-4b-maze-grpo-fft"
tok = AutoTokenizer.from_pretrained(repo, subfolder="main/step-25")
model = AutoModelForCausalLM.from_pretrained(repo, subfolder="main/step-25", dtype=torch.bfloat16)
Подробнее
• Награды: +20 за золото, -10 за плесень, -0.1 за шаг.• Обучение: 64 лабиринта на 64 роллаута за шаг, lr 3e-6.
• Ограничения: нестабильность после 25-го шага, рост энтропии действий и падение наград к 95-му шагу.










Комментарии