Grok-OSS-Cerberus-24B

Это QLoRA + ORPO файнтюн Mistral-Small-24B-Instruct-2501 от Catdrout Technologies AB. Модель делает ставку на прямоту и снижение отказов, сохраняя reasoning и следование инструкциям базовой модели. Заявлена как открытая децентрализованная альтернатива сильно выровненным коммерческим ассистентам.

✨ Ключевые особенности

• 🤖 База — Mistral-Small-24B-Instruct-2501, causal decoder-only, около 23,6B параметров.
• 🔥 Дообучение: ORPO + 4-bit QLoRA, LoRA rank 32, alpha 16.
• 💻 Контекст — 8192 токена; обучение шло на последовательностях до 8192.
• 📌 Цель — меньше лишних отказов и меньше sycophancy; ответы могут быть прямее и провокационнее.
• 🧃 Лицензия non-commercial с обязательной атрибуцией; для коммерции нужно связаться с авторами.
• ✅ Есть отдельный вариант 12B.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "c4tdr0ut/grok-oss-Cerberus-24B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "Explain the trade-offs between ORPO and DPO."}]

Подробнее

Публичных бенчмарков нет: оценка в карточке качественная — меньше отказов, стабильная прямота, сохранение reasoning и связность до 8k токенов.
Обучение: 4-bit QLoRA + ORPO (α=0.1), 2 эпохи, effective batch 16, lr 1e-4, Axolotl, одна NVIDIA B200+.
Ограничения: возможны более прямые и провокационные ответы, bias базовой Mistral остаются; для high-stakes нужен человеческий контроль.
Лицензия: non-commercial, требуется атрибуция.