Ouro-1.4B-Thinking-RLTT-step100
RL-чекпоинт для DeepMath
1 min read
Это полнопараметрический RLTT-файнтюн на базе Ouro-1.4B-Thinking от ByteDance, обученный на отфильтрованном merged-наборе DeepMath из 14 684 вопросов. Чекпоинт соответствует optimizer update global100 и продолжает обучение с состояния global20. В репозитории есть кастомная конфигурация Ouro, код модели и токенизатор; независимых бенчмарков в карточке нет.
Ключевые особенности
- Полнопараметрическое RLTT-обучение на DeepMath: 14 684 вопроса.
- Параметры run: четыре фиксированных recurrent loop, exit_pdf weighting, KL отключён, seed 42, 64 промпта × 8 ответов на обновление, learning rate 1e-6.
- Запуск через Transformers с trust_remote_code=True; загрузка AutoConfig и AutoTokenizer проверена без инициализации CUDA.
- SOURCE_MANIFEST.json фиксирует происхождение, размер и SHA256 файлов совместимости и токенизатора.
- Полный тренировочный чекпоинт с optimizer/RNG/scheduler/dataloader остался на исходном хранилище и не входит в этот репозиторий.
Пример
from transformers import AutoConfig, AutoTokenizer
model_id = 'icemoon28/Ouro-1.4B-Thinking-RLTT-step100'
config = AutoConfig.from_pretrained(model_id, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
Подробнее
Бенчмарки: независимых результатов в карточке нет.Обучение: RLTT на 14 684 вопросах DeepMath, четыре recurrent loop, exit_pdf weighting, KL disabled, seed 42, lr 1e-6.
Чекпоинт: optimizer update global100, продолжение с global20; полный тренировочный state не входит в репозиторий.
Запуск: нужен trust_remote_code=True; AutoConfig и AutoTokenizer проверены без CUDA.










Comments