MANATO 0.5 (MoE-2B)
байтовая LLM без классического self-attention
2 min readupdated
MANATO 0.5 — экспериментальная языковая модель от diode37 на 1.89 млрд параметров (737 млн активных), обученная с нуля на японском и английском. Вместо обычного Transformer с квадратичным self-attention она использует иерархическую byte-level архитектуру Memory Mosaics и H-Net: сначала байты, затем подслова/фразы, а глубокое рассуждение — в 24-слойном MainNet с разреженным Top-2 MoE. В репозитории лежат не только веса INT8/BF8/BF16, но и готовый движок инференса, CLI и Web UI, поэтому модель можно поднять локально. Сильная сторона — структурный JSON, встроенные вычисления и экономичный CPU-инференс; свободная японская проза пока на уровне research preview. Пригодится для экспериментов с необычной архитектурой и локальных задач, где нужен строгий формат ответа.
Ключевые особенности
- 1.89B параметров всего и 737M активных; tokenizer-free byte-level вход, Memory Mosaics + H-Net и Top-2 Sparse MoE в MainNet.
- INT8-версия весит 1.88 GB и работает в 3.85 GB RAM на CPU — около 49.7 символов/с; на RTX 3060 — 165–247 символов/с.
- ByteFSMJsonSchemaEnforcer гарантирует 100.0% валидного JSON Schema даже на многобайтовом японском тексте.
- TraceALU выполняет арифметику, конвертацию единиц и даты без ошибок прямо в процессе генерации.
- В комплекте движок MANATOInferenceEngine, CLI, живой Web UI и Colab-ноутбук; BF16-чекпоинт — 3.60 GB.
Что можно сделать
- Собрать локального бота или CLI, который выдаёт строго заданный JSON по схеме — без облака и GPU.
- Запустить Web UI на ноутбуке с 16 GB RAM и посмотреть, как byte-level модель отвечает на японском и английском.
- Встроить TraceALU в пайплайн для расчётов, конвертации единиц и дат, где нужен детерминированный результат.
- Взять BF16-чекпоинт для исследования архитектуры или файнтюна на GPU с 8 GB+ VRAM.
Пример
pip install torch huggingface_hub
python -c "from huggingface_hub import snapshot_download; snapshot_download('diode37/MANATO-MoE-2B', local_dir='MANATO-MoE-2B', ignore_patterns=['*-bf16.pt', '*-bf8.pt'])"
cd MANATO-MoE-2B
python public_release/quickstart_manato.py --precision int8 --device auto --web
Подробнее
Японская held-out проза: 1.7029 bpb; JSON Schema: 2.2724 bpb и 100.0% валидности.Извлечение JSON из контекста 64KB: 0.3541 bpb.
INT8: 1.88 GB, 3.85 GB RAM на CPU, 6 GB+ GPU; BF16: 3.60 GB.
Ограничения: research preview 0.5, японский/английский, слабее frontier-LLM в свободной прозе и мировых фактах.










Comments