Mellum2.1-12B-A2.5B-Thinking-DevSec

Это merged BF16-релиз от Nullmega — SFT-файнтюн JetBrains/Mellum2.1-12B-A2.5B-Thinking, сделанный на одной GPU. Модель нацелена на reasoning, агентные SWE-задачи, патчи безопасного C/C++ и фронтенд. Объём — около 12,15B параметров; активные параметры не определяют память, нужную для хранения весов.

🦾 Ключевые особенности

• 🦾 LoRA-SFT поверх замороженной BF16-базы: q_proj, k_proj, v_proj, o_proj; rank 16, alpha 32, контекст 8192.
• ✅ В обучении использованы Open-SWE-Traces (1767 траекторий), C/C++ security-patch датасет (300), OpenThoughts3 (284) и frontend React/TypeScript (200).
• 🔥 Веса уже merged в BF16 — репозиторий можно грузить как нативную Mellum без отдельного адаптера.
• 🤫 Сохранены нативный токенизатор, chat template и EOS; thinking включён по умолчанию и отключается через enable_thinking=False.
• ⬇ Для генерации рекомендуют temperature=0.6, top_p=0.95, top_k=20 и конечный лимит output-токенов.

⬇ Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
model_id = "Nullmega/Mellum2.1-12B-A2.5B-Thinking-DevSec-merged-bf16"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto", attn_implementation="sdpa")

Подробнее

Бенчмарков в карточке нет: авторские диагностические пробы не являются независимыми SWE-bench, Terminal-Bench или кибербезопасность-бенчмарками.
База — около 12B параметров; для BF16-весов нужен объём памяти под все параметры, а не только активные.
Ограничения: пробы не доказывают общий рост reasoning и не исключают зацикливание; проверяйте завершение задач на свежих примерах.
Лицензия базы и merged-релиза — Apache-2.0; данные и исходный код третьих сторон требуют отдельных уведомлений.