py-edu-gemma-15m
сравнение dense и MoE на 15M параметров
2 мин чтенияобновлено
В репозитории выложены две компактные модели в стиле Gemma, обученные с нуля для дописывания тела Python-функций по импортам, сигнатуре и опциональному docstring. Автор (Blankyy) сравнил классический плотный блок (dense) и архитектуру MoE (Mixture-of-Experts — смесь экспертов, где для каждого токена активируется только часть нейросети) при одинаковых затратах вычислений на токен. Эксперимент показал, что на масштабе 13–15 млн параметров модели дают практически одинаковое качество, но MoE-версия обучается в 1,6 раза дольше. Релиз подойдёт исследователям и студентам для изучения компактных языковых моделей и анализа поведения MoE на малых масштабах.
Ключевые особенности
- Два варианта архитектуры: dense-модель на 13,05 млн параметров и MoE-модель на 15,43 млн параметров (из них 13,07 млн активны на токен).
- Сбалансированный расчёт MoE: блок включает один общий FFN шириной 768 и трёх экспертов шириной 384 с маршрутизацией top-2 (итоговая ширина 1536, как у dense-версии).
- Обучение с нуля на коде: модели тренировались 4 эпохи на датасете
Avelina/python-edu-cleaned(3,35 млн функций на Python) с контекстом 512 токенов. - Полный набор артефактов: доступны как чистые веса для инференса (
dense.weights.pt,moe.weights.pt), так и полные чекпоинты с состоянием оптимизатора AdamW.
Что можно сделать
- Сравнить работу dense и MoE на практике: загрузить оба набора весов в PyTorch и протестировать генерацию простых Python-функций на одном железе.
- Продолжить обучение или файнтюн: использовать файлы
dense.best.ptиmoe.best.ptс сохранённым состоянием AdamW для дообучения на собственном коде.
Пример
import torch
state = torch.load("dense.weights.pt", map_location="cpu", weights_only=True)["model"]
Подробнее
Метрики dense / MoE: validation loss — 1.0639 / 1.0637; token accuracy — 0.7494 / 0.7495.HumanEval+ mini (pass@1): 15/164 против 16/164 (с docstring) и 19/164 против 18/164 (без docstring).
Архитектура: 8 слоёв, hidden 256, 4 query heads / 2 KV heads, паттерн внимания sssg, byte-level BPE токенизатор на 8192 токена.
Обучение на RTX 3090 (bf16, batch 64): 7 ч 57 мин для dense и 12 ч 27 мин для MoE.
Ограничения: исследовательские артефакты без отдельной лицензии, не предназначены для продакшена.










Комментарии