BAGEL-ZebraCoT GRPO Paper v3
4 экспериментальных LoRA-чекпоинта
1 мин чтенияобновлено
Публичный архив чекпоинтов для мультимодальной модели BAGEL-Zebra-CoT от denizakkoc. Это не самостоятельная модель, а custom adapter/trainable-weight чекпоинты после GRPO-обучения на 10 000 примерах; LoRA rank 64, alpha 128, адаптированы и understanding-, и generation-эксперты.
Ключевые особенности
- 4 сохранённых чекпоинта с манифестом, SHA-256, курсорами обучения и provenance.
- Обучение шло на 13 категориях задач: visual search, jigsaw, chess, tetris, ciphers, maze, Raven-style matrices, ARC-AGI, physics, geometry, chemistry, graph algorithms и competitive programming.
- Использовались 16 policy GPU; сохранённое продолжение дошло до 8 256 примеров, а не до полной эпохи на 10 000.
- В архиве есть промежуточные и fork-варианты, а не только лучший по held-out score чекпоинт.
- Загрузка требует совместимой custom-архитектуры и установки LoRA-модулей;
AutoModel.from_pretrainedна этом архиве недостаточно.
Пример
from huggingface_hub import hf_hub_download
repo_id = "denizakkoc/BAGEL-ZebraCoT-GRPO-Paper-v3-20260925"
path = hf_hub_download(
repo_id,
"checkpoints/continuation_20260926/train_paper_v3_resume1/checkpoint-timebudget/trainable_weights.pt"
)
Подробнее
Сохранённые оценки на 32 вопросах: 6,25–9,38% правильных ответов; это stored evaluations, не новый прогон.База — BAGEL-Zebra-CoT; нужны upstream base weights, tokenizer и VAE.
Экспериментальные чекпоинты могут давать неверные ответы, повторные изображения и пустые ответы.
Лицензия upstream — Apache-2.0.










Комментарии