Miamnus-M1-Nano-v1.2
крошечная LLM без CUDA-зависимостей
2 мин чтенияобновлено
Miamnus-M1-Nano-v1.2 — компактная авторегрессионная языковая модель на 24,7 млн параметров от Miamnus AI. Она генерирует продолжение текста на английском: получает промпт и выдаёт несколько новых токенов. Архитектура — повторяющаяся гибридная 3:1: 18 слоёв GDN2 (линейное внимание) и 6 слоёв MLA, всего 24 блока; контекст — 1024 токена, словарь — 4096 токенов. Главное отличие — самостоятельный код на чистом PyTorch без внешних Triton/CUDA-ядер: заявлен запуск на Apple Silicon (MPS), CPU и NVIDIA CUDA. Пригодится для экспериментов с архитектурами, лёгких локальных демо и обучения на небольшом железе.
Ключевые особенности
- Гибридная схема GDN2 + MLA: 18 слоёв линейного внимания и 6 слоёв MLA.
- Чистый PyTorch без компиляции Triton/CUDA-ядер — запуск на MPS, CPU и CUDA.
- 24,7 млн параметров, 24 блока, hidden dim 256, FFN 704 (SwiGLU).
- Контекст 1024 токена и byte-level BPE словарь на 4096 токенов.
- Лицензия Apache 2.0.
Что можно сделать
- Запустить локально на CPU или Mac для демо генерации продолжения английского текста.
- Сравнить гибридное линейное внимание с обычным transformer на маленьком масштабе.
- Встроить в учебный прототип, где нужна очень лёгкая модель и не хочется собирать CUDA-ядра.
- Проверять генерацию коротких английских текстов через Transformers по промпту.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "MiamnusAI/Miamnus-M1-Nano-v1.2"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
inputs = tok("Once upon a time in a sunny valley,", return_tensors="pt")
out = model.generate(inputs["input_ids"], max_new_tokens=60, temperature=0.7)
print(tok.decode(out[0]))
Подробнее
Параметров: 24 737 736 (24,7M).24 слоя: 18 GDN2 + 6 MLA; hidden dim 256, 4 query heads, 2 KV heads, head dim 64.
Контекст 1024 токена, словарь 4096 токенов, обучение на CuratedCorpus-5B.
Лицензия Apache 2.0; бенчмарков в карточке нет.










Комментарии