Raon-1-nano-heretic
LLM без отказов
2 min readupdated
Это децензурированная версия KRAFTON/Raon-1-nano на 3,13 млрд параметров: чат-модель генерирует текст и реже отказывается отвечать на запросы. Автор обработал базовую модель инструментом Heretic — автоматической абляцией без обучения и без данных для файнтюна. На выходе — полные объединённые веса, а не LoRA-адаптер, поэтому архитектура и интерфейс остались как у базы. Пригодится для локальных экспериментов и задач, где нужна менее отфильтрованная генерация, но безопасность ослаблена намеренно.
Ключевые особенности
- 3,13B параметров, база — KRAFTON/Raon-1-nano.
- Heretic использует Arbitrary-Rank Ablation и не требует обучения.
- 100 попыток поиска параметров; выбран trial index 0 из Pareto front.
- Отказы — 0/100, KL divergence — 3.1252.
- Для запуска нужен
trust_remote_code=Trueи версии Transformers/Accelerate как у базовой модели.
Что можно сделать
- Поднять локальный чат на transformers для экспериментов с менее цензурированными ответами.
- Сравнить поведение с KRAFTON/Raon-1-nano и оценить эффект абляции.
- Использовать как основу для собственных пайплайнов генерации текста, если подходит лицензия базы.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "xiq/Raon-1-nano-heretic"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True, device_map="auto", torch_dtype="auto")
messages = [{"role": "user", "content": "Hello!"}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=256)
print(tok.decode(out[0][inputs.shape[-1]:], skip_special_tokens=True))
Подробнее
Основа — KRAFTON/Raon-1-nano, 3.13B параметров.Heretic: 100 попыток, выбран trial index 0 из Pareto front; экспорт — merged full weights.
Отказы: 0/100; KL divergence: 3.1252; обучение не проводилось.
Безопасность ослаблена намеренно: возможны ошибки, предвзятость и выдумки; не для использования рядом с несовершеннолетними; действуют лицензия и условия базовой модели.










Comments