Duo data-fraction scaling study: набор чекпоинтов диффузионных языковых моделей
1 мин чтенияобновлено
Репозиторий содержит промежуточные и финальные чекпоинты (состояния нейросети) пяти дискретных диффузионных языковых моделей Duo с размером бэкбона (основы) около 169 млн параметров. Модели обучены на вложенных подмножествах датасета OpenWebText (от 10% до 100% данных) с весовым затуханием (weight decay) 0.1 для изучения законов масштабирования. Набор полезен исследователям архитектур генерации текста и диффузионных моделей для анализа траекторий обучения.
Ключевые особенности
- Пять вариантов моделей, обученных на 10%, 25%, 50%, 75% и 100% тренировочных блоков
- DiT-архитектура с контекстом на 1024 токена и токенизатором GPT-2
- Использование алгоритма duo_base с лог-линейным расписанием шума
- Полные чекпоинты на фиксированной сетке шагов для анализа траектории обучения
Что можно сделать
- Проанализировать законы масштабирования и изменение весов на разных этапах обучения
- Загрузить чекпоинты для продолжения обучения или извлечения весов бэкбона
- Исследовать метрики валидации и нормы весов из прилагаемых JSONL-файлов
Пример
import torch
ck = torch.load("frac_0.10/checkpoints/step_0475000.ckpt", map_location="cpu", weights_only=False)
raw = {k: v for k, v in ck["state_dict"].items() if k.startswith("backbone.")}
print(ck["global_step"], ck["scaling_meta"]["clock"]["train_s"] / 3600, "training hours")Подробнее
• Данные: OpenWebText, 8.7 млн блоков для полной версии• Обучение: AdamW (lr 3e-4), смешанная точность bf16
• Метрики: Валидационный NELBO от 3.3461 до 3.3763 nats/token
• Ограничения: Время обучения смешивает GPU H100 и H200










Комментарии