Grok-OSS-Cerberus

Grok-OSS-Cerberus от Catdrout Technologies AB — это QLoRA + ORPO файнтюн Mistral-Small-24B-Instruct-2501. Модель задумана как открытая децентрализованная альтернатива сильно отцензурированным коммерческим ассистентам: она делает ставку на прямоту и снижение избыточных отказов, сохраняя reasoning и instruction-following базовой модели.

🔥 Ключевые особенности

• 🔥 Обучение: ORPO + 4-bit QLoRA, LoRA rank 32, alpha 16, 2 эпохи, длина последовательности 8192.
• 🚀 Меньше ненужных отказов и меньше sycophantic-поведения; ответы могут быть прямее и провокационнее.
• 🧐 Контекст до 8192 токенов; основной язык — английский.
• ⛔ Не для медицинских, юридических и финансовых решений без человека; смещения базовой Mistral сохраняются.
• 🔜 Лицензия некоммерческая: non-exclusive, non-commercial, с обязательной атрибуцией.

😀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "c4tdr0ut/grok-oss-Cerberus-24B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
# далее — apply_chat_template и generate по карточке

Подробнее

Обучение: ORPO + 4-bit QLoRA, r=32, alpha=16, 2 эпохи, seq length 8192.
Железо: одна NVIDIA B200+ на Modal, фреймворк Axolotl.
Публичных бенчмарков нет; оценка была качественной — отказы, прямота, reasoning, связность до 8k токенов.
Для коммерческого использования нужно связаться с автором.