nanoMoE
компактная языковая модель с архитектурой MoE
2 min readupdated
nanoMoE от автора ejdis — это небольшая каузальная (предсказывающая следующий токен) языковая модель на PyTorch с кастомной архитектурой Mixture-of-Experts (MoE) (подход, при котором для каждого токена активируется только часть нейросети — так называемые эксперты). На вход модель принимает токенизированный текст и выдаёт логиты (вероятности следующих токенов) для генерации продолжения. Архитектура написана с нуля в файле model.py и не зависит от стандартных классов AutoModelForCausalLM. Модель пригодится разработчикам и исследователям, которые изучают устройство компактных MoE-трансформеров или ищут лёгкую базу для экспериментов.
Ключевые особенности
- Маршрутизация Top-K на уровне токенов: из 4 экспертов (
n_exp: 4) для каждого токена выбираются 2 активных (top_k: 2). - Компактные параметры: 8 слоёв, 8 голов внимания, размерность скрытого слоя 256 и длина контекста 256 токенов.
- Стандартная токенизация: используется готовый токенизатор от GPT-2 со словарём на 50 257 токенов.
- Набор чекпоинтов: в репозитории доступны регулярные сохранения обучения (
ck_XXXXXX.pt), лучший вариант по валидации (best_ck_XXXXXX.pt) и финальный чекпоинт (last_ck_XXXXXX.pt).
Что можно сделать
- Разобрать исходный код
model.pyи историю валидации внутри чекпоинтов для изучения работы Top-K маршрутизации экспертов. - Загрузить веса
best_ck_010000.ptв PyTorch для генерации текста или продолжения дообучения на собственном датасете.
Пример
checkpoint = torch.load(path, map_location="cpu", weights_only=True)
model = module.GPTMoE(**checkpoint["model_config"])
model.load_state_dict(checkpoint["model"], strict=True)
model.eval()
tokenizer = AutoTokenizer.from_pretrained("gpt2")
inputs = tokenizer("Once upon a time", return_tensors="pt")["input_ids"]
logits = model(inputs)[0]
Подробнее
Конфигурация: 8 слоёв, d=256, 8 голов внимания, контекст 256 токенов, 4 эксперта (Top-2).Ограничения: модель не загружается через
AutoModelForCausalLM.from_pretrained() — требуется исполнение кастомного файла model.py.Детали обучения: в чекпоинтах сохранены веса, конфиг и метрики валидации, но отсутствуют датасет и состояние оптимизатора.










Comments