MiniMind-MoE-198M-A64M-Pretrain-v1.0
сверхлёгкая MoE-модель с нуля на 198M параметров
2 min readupdated
Экспериментальная языковая модель для продолжения текста на английском языке, обученная с нуля без опоры на готовые веса. Она построена на базе архитектуры MiniMind с использованием MoE (Mixture of Experts — подход, при котором для каждого токена активируется только часть нейросети, что ускоряет работу). Из 198,4 млн общих параметров при генерации задействуется около 64 млн. Модель выпущена автором caspar как базовый чекпоинт после этапа претрейна (первичного обучения на текстах) и пригодится исследователям и энтузиастам для экспериментов с дообучением на слабом железе.
Ключевые особенности
- Архитектура MiniMind MoE: 8 слоёв, размер скрытого слоя 768, словарь на 6400 токенов и 4 эксперта с маршрутизацией top-1.
- Обучена с нуля в течение 2 эпох на отфильтрованном образовательном датасете FineWeb-Edu (более 1,28 млн документов с оценкой качества от 3.5).
- Перплексия (PPL — мера неуверенности модели при предсказании следующего слова) на валидации снизилась с 7491.43 до 13.17.
- В репозитории доступны как веса в формате
safetensorsдля библиотекиtransformers, так и оригинальный чекпоинтpretrain_768_moe.pthв FP16 для нативного PyTorch.
Что можно сделать
- Использовать как чистую базу для собственного SFT (Supervised Fine-Tuning — дообучение на инструкциях или диалогах) под узкие задачи.
- Изучать работу маршрутизации экспертов в компактных MoE-моделях с минимальными затратами вычислительных ресурсов.
- Запускать локально даже на CPU или бюджетных видеокартах для тестов генерации и продолжения коротких английских текстов.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "caspar/MiniMind-MoE-198M-A64M-Pretrain-v1.0"
tokenizer = AutoTokenizer.from_pretrained(repo, revision="v1.0")
model = AutoModelForCausalLM.from_pretrained(repo, revision="v1.0", trust_remote_code=True).eval()
x = tokenizer("The purpose of education is", return_tensors="pt", add_special_tokens=False).input_ids
print(tokenizer.decode(model.generate(inputs=x, max_new_tokens=64, do_sample=False)[0], skip_special_tokens=True))
Подробнее
Валидационный PPL: 13.17 (на 1024 проверочных окнах).Обучение: 2 эпохи на видеокарте RTX 5090 (BF16, AdamW, 34 432 шага обновления, пиковый lr 3e-4).
Ограничения: модель не проходила SFT, не умеет вести диалог и не проверялась на контексте длиннее 340 токенов.
Для запуска в
transformers требуется флаг trust_remote_code=True (используется скрипт model_minimind.py).









Comments