MP-01 100M base

MP-01 100M base — decoder-only языковая модель на 100,6 млн параметров от Manprot (автор Dominik Andrzejewski). Это нестандартная архитектура VBQ: 18 слоёв, GQA, SwiGLU и QK-norm; обучена на английском примерно на 11,3 млрд токенов. Формально это base-модель, но её предки проходили chat fine-tune, поэтому она может отвечать в чат-стиле и при этом ненадёжно следует инструкциям.

🌕 Ключевые особенности

• 🌖 100,6M параметров, bf16, tied embeddings; контекст 2048 токенов.
• 🌗 Кастомный VBQ-декодер: 18 слоёв, grouped-query attention, SwiGLU, QK-norm.
• 🌘 Средний балл 48.43 на 7 задачах — лучший среди сравнённых маленьких моделей, включая GPT-neo-125M, OPT-125M и GPT-2.
• 🌑 Запуск через собственный код vbq, а не через обычный transformers; есть run.py с поддержкой CUDA и CPU.
• 🌒 Не instruction-модель: возможны фактические ошибки, повторы и небезопасные ответы.

🌓 Пример

hf download Manprot/MP-01-100M-base --local-dir MP-01-100M-base
python MP-01-100M-base/run.py "The history of the printing press" --tokens 150

Подробнее

7-task average: 48.43; BLiMP: 78.72 — ниже GPT-2 (82.51) и OPT-125M (81.41).
Оценка zero-shot, по 500 вопросов на задачу; разница до ~2 пунктов в пределах шума.
Обучение: локальная RX 7600 8 GB, затем A100 40 GB и H200 141 GB; датасеты не перевыпущены.
Ограничения: не instruction-модель, возможны фактические ошибки, повторы и bias из веб-текстов.