MiniManjoro-25M
крошечная RWKV-7 для русского чата на CPU
1 min read
MiniManjoro-25M — текстовая модель на 24.91M параметров от SatoshiManjoro. Она построена на архитектуре RWKV-7, заявлены языки ru/en, а весь цикл — от токенизации до обучения — рассчитан на обычный 4-ядерный x86 CPU.
Ключевые особенности
- Архитектура RWKV-7: линейная рекуррентная динамика WKV-7 вместо квадратичного attention.
- Ориентирована на x86 CPU: обучение и инференс в FP32, 4 потока.
- На инференсе не нужен KV-кэш: модель хранит фиксированное состояние, память не растёт с длиной диалога.
- Компактный Byte-level BPE-словарь на 8192 токена; матрица эмбеддингов — около 4.2M параметров.
- Есть чекпоинт PyTorch и экспорт в GGUF для llama.cpp / C++ рантаймов.
- Лицензия Apache 2.0.
Пример
pip install torch numpy tokenizers datasets zstandard huggingface_hub gguf
python download.py
python identity.py
python train.py
python chat.py
Подробнее
Параметры: 24.91M, 5 слоёв, hidden 512, 8 голов внимания, словарь 8192.Обучение: корпус ~25 МБ, окно 128 токенов, батч 16, AdamW, 3500 шагов.
Инференс: CPU, 4 потока; состояние фиксированное, KV-кэш не используется.
Ограничения: крошечный корпус и словарь; бенчмарков в карточке нет.










Comments