Yoshino2 4B A2B
экспериментальная MoE-модель с reasoning-дистилляцией
1 min readupdated
Yoshino2 4B A2B — экспериментальная MoE-LLM от en5yme на базе MiniCPM5 1B. Всего 4 млрд параметров: четыре эксперта по 1B, два активны на токен. Модель создана для усиления reasoning у edge-моделей и дистиллирована в стиле NVIDIA Nemotron Lightning 30B A3B.
Ключевые особенности
- Архитектура MoE: 4 эксперта MiniCPM5 1B, по два активных на токен; суммарно 4B параметров.
- Reasoning-стиль дистиллирован из NVIDIA Nemotron Lightning 30B A3B.
- Собрана через Mergekit-MoE из четырёх клонов MiniCPM5 1B.
- Обучение: 10 817 синтетических Q/A-пар (около 135 МБ), Unsloth SFT, 3 эпохи QLoRA.
- Модель помечена как highly experimental: без бенчмарков и не для production.
- GGUF-квантизация через Llama.cpp может выдавать ошибки.
Пример
Карточка не приводит код запуска или пример промпта. Заявленный сценарий — reasoning-запросы для edge-моделей; качество нужно проверять вручную, так как бенчмарков нет.
Подробнее
Бенчмарков на момент релиза нет — модель не позиционируется как production-grade.Требования к VRAM/железу в карточке не указаны.
GGUF-квантизация через Llama.cpp может завершаться ошибками.
База — MiniCPM5 1B с downstream Apache 2.0; LICENSE в репозитории относится к файнтюну, не к базе.










Comments