ThinkMorph-Grounded-GRPO-10k
промежуточные LoRA-чекпоинты с GRPO
2 min readupdated
Набор исследовательских промежуточных чекпоинтов для мультимодальной модели ThinkMorph-7B, дообученных методом grounded GRPO (вариант обучения с подкреплением без отдельной модели-критика) на датасете ThinkMorph-Grounding-GRPO-10k. В репозитории лежат два сохранения — на 100-м и 150-м шагах обновления оптимизатора, включая как облегчённые веса для инференса, так и полные состояния для продолжения обучения. В отличие от обычных слитых моделей или стандартных PEFT-адаптеров, это нативные FP32 LoRA-адаптеры (небольшие надстройки над базовой моделью), затрагивающие одновременно экспертов текста и изображений. Релиз пригодится исследователям, изучающим мультимодальное рассуждение и визуальный граундинг (привязку текста к областям изображения).
Ключевые особенности
- Нативные FP32 LoRA-адаптеры с параметрами
rank 64иalpha 128(322 961 408 обучаемых параметров) для текстового и визуального экспертов. - Два промежуточных этапа:
checkpoint-100(100 обновлений, 1 600 вопросов) иcheckpoint-150(150 обновлений, 2 400 вопросов) по 8 генераций на вопрос. - Разделение весов: отдельные файлы
adapters.pt(~1,29 ГБ) для оценки и запуска, а также полныеcheckpoint.pt(~3,89 ГБ) с состоянием Adam и RNG. - В репозиторий включён исходный код обучения
thinkmorph_grpoи скрипт валидации весовevaluate.py.
Что можно сделать
- Запустить локальную оценку и инференс через нативный загрузчик с маской словаря токенизатора
runtime.load_native. - Возобновить процесс GRPO-обучения с 100-го или 150-го шага, используя полные чекпоинты с историей сэмплов и состоянием RNG.
- Сравнить поведение модели на разных стадиях RL-дообучения и проанализировать динамику наград (веса 1/1/4 для изображения, текста и финального ответа).
Пример
from huggingface_hub import snapshot_download
folder = snapshot_download(
"denizakkoc/ThinkMorph-Grounded-GRPO-10k",
allow_patterns=["checkpoint-150/adapters.pt", "checkpoint-150/Export_Manifest.json"],
)Подробнее
Обучение проводилось на кластере из 16 GPU H200 с использованием Gemini в роли судьи для оценки граундинга.Требуется базовая модель
ThinkMorph/ThinkMorph-7B (ревизия ad1a4abccca4df166f2c9d2178eb33ed61ae367e), скачиваемая отдельно.Авторы прямо отмечают, что это промежуточные исследовательские чекпоинты без заявленного прироста на отложенных бенчмарках.










Comments