MrMaie B1 GGUF
4B-архитектура в памяти 1.8B-модели
1 min readupdated
GGUF-дистрибутив MrMaie B1 от MrMaie Team для локального инференса через LM Studio, Ollama, llama.cpp и совместимые рантаймы. Базовая модель сохраняет полную 4B-архитектуру на 3 950 369 280 активных параметров без структурного прунинга, но работает в пределах памяти 1.8B-модели. Доступны квантованные варианты от 16 до 2 бит; языки — английский и итальянский.
Ключевые особенности
- Полная 4B-архитектура без прунинга при заявленном футпринте 1.8B-модели.
- GGUF-кванты от F16 до Q2_K; рекомендуемый вариант — Q4_K_M.
- Работает в LM Studio, Ollama и llama.cpp.
- Поддержка английского и итальянского языков.
- Дистилляция с учителем GLM-5-3-Flash.
Пример
ollama run hf.co/taiger7196/MrMaie-B1-GGUF:Q4_K_M
Подробнее
Внутренний бенчмарк MrMaie: 100% (200/200) на английском и 100% (200/200) на итальянском.Размеры: Q4_K_M — 2431.22 MB, Q2_K — 1536.86 MB, F16 — 7541.39 MB.
Это экспериментальный релиз: возможны артефакты и нестабильное поведение вне обучающего распределения.
Результаты внутреннего теста могут не переноситься на внешние бенчмарки; младшие кванты могут снижать качество.










Comments