Llama-Krikri-8B-Instruct-v1.5-Heretic-MPOA
версия без цензурных отказов на английском и греческом
2 мин чтенияобновлено
Это модификация языковой модели ilsp/Llama-Krikri-8B-Instruct-v1.5 на 8,2 млрд параметров, прошедшая процедуру abliteration (удаление механизма отказов отвечать на запросы без дообучения на новых данных) с помощью инструмента Heretic 2.1.0. В репозитории доступны как готовые объединенные веса в формате BF16, так и отдельный компактный PEFT-адаптер (небольшая надстройка над базовой моделью весом около 10 МБ). От оригинала релиз отличается резким снижением числа отказов даже на безопасных промптах при сохранении исходной скорости генерации. Модель пригодится разработчикам и исследователям, которым нужен локальный двуязычный ассистент для английского и греческого языков без лишних фильтров.
Ключевые особенности
- Минимум ложных отказов: на безобидных запросах доля отказов упала с 27% до 8% на греческом и с 19% до 9% на английском.
- Без потери скорости: объединенная модель выдает 43,09 токена/с при batch size 1 и 325,72 токена/с при batch size 8 на RTX 3090 — практически на уровне оригинала.
- Два варианта запуска: можно скачать полную модель в BF16 (~16,4 ГБ) или подгрузить легкий LoRA-адаптер на 2,55 млн параметров поверх базовой версии.
- Прозрачные замеры: автор приложил скрипты воспроизведения и таблицы с проверкой точности, отказов и скорости на фиксированных ревизиях датасетов.
Что можно сделать
- Развернуть локальный чат-бот: использовать для генерации ответов на английском и греческом языках без срабатывания стандартных фильтров на нейтральные темы.
- Интегрировать через PEFT: подключить 10-мегабайтный адаптер из папки
adapter/к уже скачанной базовой моделиLlama-Krikri-8B-Instruct-v1.5, чтобы сэкономить место на диске. - Протестировать поведение при abliteration: сравнить ответы оригинальной и модифицированной версий по готовым метрикам из папки
performance/.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "mpvasilis/Llama-Krikri-8B-Instruct-v1.5-Heretic-MPOA"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto").eval()
messages = [{"role": "user", "content": "Explain how olive trees adapt to dry summers."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, add_special_tokens=False, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=256, do_sample=False)
print(tokenizer.decode(out[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарки (сэмплированные): MMLU (EN) — 54,39% (-3,95 п.п. к базе), Belebele (EL) — 64,00% (-1,00 п.п.), Belebele (EN) — 70,00% (-4,00 п.п.).Проверка отказов на JBB: на чувствительных запросах совпадения по маркерам отказа снизились с 78/89 до 11/89 (EL) и с 83/89 до 7/89 (EN); строгий контроль инструкций сохранился на уровне 6/8.
Железо: веса занимают около 16,4 ГБ на диске; тестировалось на одной RTX 3090 (24 ГБ VRAM) с PyTorch 2.15.0 и transformers 5.23.0.
Метод: 60 итераций классической оптимизации MPOA в Heretic 2.1.0 (rank 3, финальный LoRA alpha 6, first-token KL 0,09486). Лицензия: Llama 3.1 Community License.










Комментарии