MiniManjoro-25M

MiniManjoro-25M — текстовая модель на 24.91M параметров от SatoshiManjoro. Она построена на архитектуре RWKV-7, заявлены языки ru/en, а весь цикл — от токенизации до обучения — рассчитан на обычный 4-ядерный x86 CPU.

💥 Ключевые особенности

• 🦾 Архитектура RWKV-7: линейная рекуррентная динамика WKV-7 вместо квадратичного attention.
• 🚙 Ориентирована на x86 CPU: обучение и инференс в FP32, 4 потока.
• 🐱 На инференсе не нужен KV-кэш: модель хранит фиксированное состояние, память не растёт с длиной диалога.
• 📉 Компактный Byte-level BPE-словарь на 8192 токена; матрица эмбеддингов — около 4.2M параметров.
• ⬇ Есть чекпоинт PyTorch и экспорт в GGUF для llama.cpp / C++ рантаймов.
• ✅ Лицензия Apache 2.0.

🎤 Пример

pip install torch numpy tokenizers datasets zstandard huggingface_hub gguf
python download.py
python identity.py
python train.py
python chat.py

Подробнее

Параметры: 24.91M, 5 слоёв, hidden 512, 8 голов внимания, словарь 8192.
Обучение: корпус ~25 МБ, окно 128 токенов, батч 16, AdamW, 3500 шагов.
Инференс: CPU, 4 потока; состояние фиксированное, KV-кэш не используется.
Ограничения: крошечный корпус и словарь; бенчмарков в карточке нет.