CicadaAi/Qwen3-4B-heretic
децензурированная версия языковой модели Qwen3
2 мин чтенияобновлено
Модель представляет собой децензурированный вариант базовой LLM (Large Language Model, большая языковая модель) Qwen/Qwen3-4B-Instruct-2507, созданный с помощью инструмента Heretic. Новинка сохраняет архитектуру и ключевые возможности оригинальной четырёхмиллиардной модели от команды Qwen, но полностью снимает встроенные ограничения и отказы на запросы. Модель ориентирована на разработчиков и исследователей, которым требуется максимальная свобода генерации текста без цензурных фильтров.
Ключевые особенности
- Полное снятие ограничений: количество отказов на контрольных тестах снижено с 100 из 100 до 0 из 100.
- Базируется на актуальной не думающей версии Qwen3-4B-Instruct с нативным контекстом на 256K токенов.
- Сохраняет высокие общие способности базовой модели в логике, кодинге и следовании инструкциям.
- Использование метода ARA (Arbitrary-Rank Ablation) для точной модификации поведения весов нейросети.
Что можно сделать
- Развернуть локальный чат-бот без ограничений на генерацию контента с помощью vLLM или SGLang.
- Использовать модель в пайплайнах для обработки длинных текстов и документов благодаря контексту в 262 144 токена.
- Интегрировать в сторонние приложения через OpenAI-совместимый API-сервер.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "CicadaAi/Qwen3-4B-heretic"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
model_name,
torch_dtype="auto",
device_map="auto"
)
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True,
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
**model_inputs,
max_new_tokens=1024
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
content = tokenizer.decode(output_ids, skip_special_tokens=True)
print("content:", content)Подробнее
Бенчмарки и параметры модификации:• Отказы: 0/100 (у оригинала 100/100)
• KL divergence: 12.0564
• Параметры ARA: start_layer_index=12, end_layer_index=29
• Вес сохранения хорошего поведения: 0.2237










Комментарии