munku
файнтюн Gemma-4-31B-it для задач выбора и принятия решений
2 min readupdated
Специализированная языковая модель на 31.27B параметров, заточенная под ответы на вопросы с выбором вариантов, бинарные решения («да/нет») и классификацию. Она основана на google/gemma-4-31B-it, продолжает ветку чекпоинтов eshbar-lulilla и liquamen от автора plantwaterer и получила собственную выходную голову последнего слоя. В отличие от обычных чат-моделей, munku работает через встроенный движок munku:Engine и усредняет ответы по разным порядкам вариантов, чтобы снизить смещение при выборе. Модель пригодится разработчикам и исследователям, которые строят системы автоматической оценки, маршрутизации запросов, фактчекинга или классификации намерений.
Ключевые особенности
- Архитектура под точный выбор: для обычных тестовых вариантов применяется softmax по логитам букв (с температурой T = 1.2786), а для решений «да/нет» используется интегрированный апостериорный вывод Лапласа (Laplace posterior).
- Усреднение порядка вариантов: для запросов в пределах лимита длины модель прогоняет и усредняет ответ по 4 разным перестановкам вариантов, избавляясь от «любви» нейросетей к первой или последней букве.
- Масштабное обучение на 384 663 задачах: дообучена на смеси из десятков датасетов по математике (MATH, AQuA-RAT), науке (SuperGPQA), медицине (MedQA), логике (FOLIO), безопасности промптов (PromptShield) и вызову инструментов (Toucan-1.5M).
- Контроль целостности и быстрый инференс: файлы движка, головы и исполнителя проверяются по MD5-хэшам из
PINS.jsonпри загрузке, а на одной GPU RTX PRO 6000 медианная задержка составляет 192–291 мс на запрос.
Что можно сделать
- Классификация и модерация запросов: использовать в пайплайнах безопасности для отлова prompt-инъекций и фишинговых писем — соответствующие датасеты (PromptShield, jev-phishing-bench) напрямую входили в обучение.
- Маршрутизация инструментов (tool-decision): встроить в агентские системы для выбора нужной схемы MCP-инструмента под запрос пользователя на базе наработок из Toucan-1.5M.
- Проверка фактов и логический анализ: применять для автоматической верификации утверждений по контексту в научных, медицинских или финансовых сценариях.
Пример
REPO=$(python -c "from huggingface_hub import snapshot_download; print(snapshot_download('plantwaterer/munku'))")
PYTHONPATH="$REPO" python -m decision_index run --engine munku:Engine --option model="$REPO" --option route=off --compact --out runs/munkuПодробнее
Бенчмарк: Decision Index 0.3 public score — 71.10.Железо: требуется одна GPU с минимум 75 ГБ памяти (веса в bf16 занимают 62 ГБ, помещается на RTX PRO 6000 96 ГБ), скомпилированные ядра для sm_75 – sm_120.
Скорость: медиана 291 мс (mean 652 мс, p95 1848 мс) на публичной выборке из 1000 запросов и 192 мс на отложенной выборке (без учёта загрузки и прогрева до 3 минут).
Лицензия и ограничения: движок использует компоненты под Apache-2.0, но часть обучающих датасетов (ANLI, x-stance, MS MARCO и др.) имеет пометку Non-commercial / research-only или не имеет явной лицензии.










Comments