ResNet-50 ImageNet training trajectory
103 чекпоинта обучения с нуля
2 мин чтенияобновлено
Набор из 103 последовательных сохранений (чекпоинтов) классической нейросети для распознавания изображений ResNet-50 на протяжении всего цикла обучения на датасете ImageNet-1k. Репозиторий от LSL-datasets позволяет не просто взять финальную модель, а буквально заглянуть внутрь процесса обучения: от случайной инициализации весов на нулевом шаге до 90-й эпохи. Внутри каждого файла записаны не только веса для PyTorch, но и текущий шаг, эпоха, скорость обучения (learning rate) и точность на валидации. Релиз создан в первую очередь для исследователей, студентов и инженеров машинного обучения, изучающих динамику сходимости нейросетей.
Ключевые особенности
- Полная траектория обучения: 103 файла весов (~103 МБ каждый), включая нулевой шаг до старта обучения, частые срезы в начале (шаги 16–1000, эпохи 1.5–4.5) и конец каждой эпохи с 1-й по 90-ю.
- Готовая сводка метрик: в комплекте идёт таблица
trajectory.csvс показателямиval_top1иval_top5для каждого сохранённого шага. - Воспроизводимый рецепт: обучение велось на базе
torchvision.models.resnet50с оптимизатором SGD, размером батча 1024 и косинусным затуханием learning rate (cosine decay). - Стабильный итоговый результат: финальный чекпоинт (шаг 112 590) достигает точности 76,7 % top-1 и 93,3 % top-5 на 50 000 проверочных картинок ImageNet.
Что можно сделать
- Исследовать ландшафт потерь и динамику весов: анализировать, как меняются представления внутри слоёв нейросети на ранних и поздних этапах обучения.
- Тестировать методы прунинга и квантизации: проверять, на какой эпохе модель лучше всего поддаётся сжатию или дообучению под свои классы.
- Использовать в учебных проектах: наглядно демонстрировать студентам эффект прогрева (warmup) и работу косинусного расписания скорости обучения без необходимости тратить ресурсы GPU на обучение с нуля.
Пример
import torch, torchvision
from huggingface_hub import hf_hub_download
path = hf_hub_download("LSL-datasets/resnet50-imagenet-trajectory", "checkpoints/step0112590.pt")
ckpt = torch.load(path, map_location="cpu", weights_only=True)
model = torchvision.models.resnet50()
model.load_state_dict(ckpt["model"])
print(ckpt["epoch"], ckpt["val_top1"]) # 90.0 0.76658
Подробнее
Метрики финала: 76.7 % top-1 и 93.3 % top-5 (центральный кроп 224×224).Железо и обучение: 2 GPU с DistributedDataParallel, точность bfloat16, батч 1024 изображения.
Ограничения: лицензия ImageNet — только для некоммерческих исследований и обучения.










Комментарии