Terminal-RSI-27B-Unlocked-Uncensored-Heretic

Это decensored-вариант Terminal-RSI-27B от SolsticeAI: 27,36 млрд параметров на базе Qwen3.8-27B, предназначенный для работы в терминале — инспекции репозиториев, правки кода, починки зависимостей и многошаговых задач с проверкой результата. Ограничения сняты инструментом Heretic v2.2.0.dev0, поддерживаемые языки — английский и китайский.

🤓 Ключевые особенности

• 🗣 Отказы по классификатору: 6/100 против 75/100 у исходной модели.
• 📝 KL-дивергенция всего 0.0397 — исходное поведение в основном сохранено.
• ⌨ Контекст до 262 144 токенов, 64 текстовых слоя, hidden size 5 120.
• 🤝 Обучение по цепочке RSR → RPR: recursive self-rewrite и policy-refine.
• 😎 Лицензия Apache-2.0, формат Safetensors, веса в BF16.

⌨ Пример

import torch
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration
model_id = "SolsticeAI/Terminal-RSI-27B-Unlocked-Uncensored-Heretic"
tok = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
prompt = tok.apply_chat_template([{"role": "user", "content": "How would you investigate failing tests?"}], tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.6, top_p=0.95)

Подробнее

Веса BF16 занимают примерно 55,56 ГБ (51,75 ГиБ), плюс память на активации и KV-кэш.
Нужен Transformers с поддержкой Qwen3_5ForConditionalGeneration; полную загрузку и инференс на GPU авторы карточки не тестировали.
Модель может выдавать небезопасные команды и ложные заявления о выполнении — запускайте только в изолированной среде.
Бенчмарки в карточке относятся к исходной Terminal-RSI-27B; для этой версии новых замеров не проводилось.