MORPH-S
сверхкомпактная гибридная языковая модель на Mamba2 и MLA
2 min readupdated
MORPH-S — это экспериментальная языковая модель на 170 млн параметров (138 млн без учёта эмбеддингов), разработанная с нуля для обучения на бесплатных ускорителях Kaggle T4×2. В её основе лежит гибридная архитектура: 20 слоёв Mamba2 (модель пространства состояний) сочетаются с 4 слоями Multi-head Latent Attention (MLA — механизм внимания со сжатым скрытым представлением) без позиционного кодирования. В отличие от классических трансформеров, такая схема радикально экономит видеопамять при работе с длинным контекстом, а также использует вспомогательную задачу самомоделирования при обучении. Модель подойдёт исследователям и энтузиастам, изучающим эффективные гибридные архитектуры и обучение компактных LLM в условиях ограниченных ресурсов.
Ключевые особенности
- Экономия памяти на длинном контексте: на 32 тысячах токенов в fp16 модель занимает всего 23,5 МБ кэша против 2013 МБ у стандартного механизма внимания аналогичной глубины.
- Кросс-слойное разделение латентов: слои внимания 4 и 9, а также 14 и 19 делят между собой два кэшируемых латентных представления, дополнительно снижая нагрузку на память.
- Самомоделирование при обучении: специальная голова предсказывает нормализованные остаточные состояния перед слоями внимания из финального скрытого состояния.
- Две версии весов: в репозитории доступны базовый чекпоинт (обучен на 3 млрд токенов FineWeb-Edu) и инструктивная версия в папке
sft/с поддержкой формата ChatML.
Что можно сделать
- Протестировать работу гибридных моделей Mamba2 + MLA на локальном железе или в бесплатном Google Colab с минимальным расходом VRAM.
- Использовать код репозитория MoRPH как шаблон для собственных экспериментов по обучению малых моделей с нуля на бюджетных GPU (вроде T4).
- Запустить диалоговый режим на базе SFT-версии (
sft/model.safetensors) для генерации базовых ответов на английском языке.
Пример
git clone [https://github.com/dhairya-pandya/MoRPH](https://github.com/dhairya-pandya/MoRPH) && cd MoRPH && pip install -r requirements.txt
huggingface-cli download dhairyapandya/morph-s --local-dir morph-s
PYTHONPATH=. python -m morph.eval.generate --weights morph-s/sft/model.safetensors \
--config morph-s/config.json --chat --prompt "What is photosynthesis?"
Подробнее
Метрики: validation perplexity 17.4 на FineWeb-Edu, HellaSwag 32.7% zero-shot у базовой модели и 32.4% у SFT-версии.Память при инференсе (fp16): 512 байт на токен кэша + 6,74 МБ константного состояния SSM.
Обучение: 3 млрд токенов (12 сессий Kaggle T4), оптимизаторы Muon + AdamW, токенизатор от SmolLM2-135M.
Ограничения: из-за малого размера и объёма обучения модель слабо запоминает факты и рассуждает, а 4 слоя внимания ограничивают точный поиск по длинному контексту.










Comments