Yoshino2 4B A2B

Yoshino2 4B A2B — экспериментальная MoE-LLM от en5yme на базе MiniCPM5 1B. Всего 4 млрд параметров: четыре эксперта по 1B, два активны на токен. Модель создана для усиления reasoning у edge-моделей и дистиллирована в стиле NVIDIA Nemotron Lightning 30B A3B.

▶ Ключевые особенности

• ➕ Архитектура MoE: 4 эксперта MiniCPM5 1B, по два активных на токен; суммарно 4B параметров.
• 🔜 Reasoning-стиль дистиллирован из NVIDIA Nemotron Lightning 30B A3B.
• 🔙 Собрана через Mergekit-MoE из четырёх клонов MiniCPM5 1B.
• 🟰 Обучение: 10 817 синтетических Q/A-пар (около 135 МБ), Unsloth SFT, 3 эпохи QLoRA.
• ✖ Модель помечена как highly experimental: без бенчмарков и не для production.
• ➖ GGUF-квантизация через Llama.cpp может выдавать ошибки.

▶ Пример

Карточка не приводит код запуска или пример промпта. Заявленный сценарий — reasoning-запросы для edge-моделей; качество нужно проверять вручную, так как бенчмарков нет.

Подробнее

Бенчмарков на момент релиза нет — модель не позиционируется как production-grade.
Требования к VRAM/железу в карточке не указаны.
GGUF-квантизация через Llama.cpp может завершаться ошибками.
База — MiniCPM5 1B с downstream Apache 2.0; LICENSE в репозитории относится к файнтюну, не к базе.