Huihui-Ornith-1.5-35B-A3B-abliterated

Это abliterated-версия Ornith-1.5-35B-A3B: из модели убрали отказы с помощью abliteration. Репозиторий содержит 35.95B-модель для генерации текста; в карточке она названа crude proof-of-concept без TransformerLens.

🔍 Ключевые особенности

• 🧨 Abliterated-вариант Ornith-1.5-35B-A3B.
• ⚙ Abliteration затронула только слои 11–29.
• 💻 Запуск через transformers; в карточке есть streaming-скрипт с метриками.
• ⚠ Safety-фильтры снижены: возможны чувствительные и спорные ответы.
• 📌 Заявлена как proof-of-concept, не production-ready.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "ansulev/Huihui-Ornith-1.5-35B-A3B-abliterated"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto",
    trust_remote_code=True, low_cpu_mem_usage=True
)

Подробнее

Параметров: 35.95B.
Abliterated: только слои 11–29.
Бенчмарков в карточке нет.
Ограничения: safety-фильтры снижены, возможны спорные ответы, нужен ручной контроль.
Назначение: research, тесты и контролируемые среды.