vbppo-qwen3-vl-4b-thinking
VLM с явным отслеживанием убеждений в диалоге
2 min readupdated
Мультимодальная языковая модель (VLM — работает с изображениями и текстом), дообученная методом обучения с подкреплением VB-PPO (Verbalized-Belief PPO, адаптация метода Agent-BRACE). На каждом шаге диалога или игры модель структурирует ответ: сначала формирует цепочку рассуждений, затем фиксирует текущую картину мира в теге и выдаёт итоговое действие в . Релиз представляет собой полную модель объёмом 4.44B параметров на базе Qwen/Qwen3-VL-4B-Thinking от автора posterior-learning, в веса которой уже влит обученный LoRA-адаптер (небольшая надстройка над базовой моделью). Подойдёт исследователям RL-агентов и разработчикам, которым нужно, чтобы компактная VLM явно отслеживала скрытое состояние среды перед принятием решений.
Ключевые особенности
- Пошаговая структура ответа: на каждом ходе модель генерирует рассуждения (до 8192 токенов), обновление состояния убеждений в
(до 1024 токенов) и действие в(до 200 токенов). - Обучение с двумя сигналами награды: токены убеждений оценивались моделью-судьёй DeepSeek V4.1 Flash по формату и содержательным метрикам, а рассуждения и действия оптимизировались через PPO с отдельным критиком.
- Полная совместимость с базой: адаптер (r 16, lora_alpha 32) влит в 252 модуля в точности fp32 с сохранением в bf16, при этом токенизатор, шаблон чата и конфиги процессора остались идентичными базовой Qwen3-VL-4B-Thinking.
Что можно сделать
- Тестировать в игровых и интерактивных средах: использовать модель как мультимодального агента для пошаговых игр и задач, где нужно накапливать улики и обновлять гипотезы.
- Анализировать логику принятия решений: отслеживать, как меняются внутренние гипотезы модели в блоке
на каждом шаге взаимодействия со средой. - Использовать как бейзлайн для RL-экспериментов: запускать напрямую через библиотеку
transformersбез ручного подключения LoRA-адаптеров.
Пример
На каждом шаге работы модель формирует ответ по заданной в обучении схеме:
1. Цепочка внутренних рассуждений (лимит 8192 токена).
2. Блок ... с актуальным представлением о состоянии среды (лимит 1024 токена).
3. Блок ... с выбранным шагом (лимит 200 токенов).
Подробнее
Базовая модель: Qwen/Qwen3-VL-4B-Thinking (4.44B параметров, формат весов bf16, общий объём тензоров 8.88 ГБ).Детали обучения: 50 обновлений PPO (16 эпизодов на обновление, 8 игр из suite_train), lr 1e-5, LoRA r 16 / alpha 32, обучение на 8 GPU A100 с flash_attention_2.
Ограничения: из-за слияния весов в bf16 выходы могут незначительно отличаться от запуска базовой модели с отдельным адаптером.










Comments