Prelude 9B SFT v2 Hallucination R2
честная языковая модель против галлюцинаций
2 мин чтенияобновлено
Новый исследовательский чекпоинт (промежуточная версия модели) весом 9.09 миллиардов параметров на базе marianna13/prelude-9b-sft-v2 обучен честно признаваться в незнании вместо выдумывания фактов на десяти европейских языках. Базовая модель склонна сочинять биографии и сюжеты для несуществующих людей или объектов, тогда как эта версия в 98% случаев вежливо отказывается отвечать и просит контекст. Модель создана в рамках исследований OpenEuroLLM и пригодится разработчикам, которым важна фактологическая точность и минимизация выдумок в чат-ботах.
Ключевые особенности
- Резкое сокращение выдумок: на вымышленных темах доля галлюцинаций упала с 97.7% до 1.8%.
- Поддержка 10 европейских языков (английский, немецкий, французский, испанский, итальянский и др.).
- Обучение в несколько этапов с использованием SFT (обучения с учителем) и DPO (прямого предпочтения оптимизации).
- Сохранение правильных ответов на известные факты на уровне 53.8% (хотя модель стала излишне осторожной).
Что можно сделать
- Проверить устойчивость модели к выдумкам (галлюцинациям) с помощью собственных каверзных вопросов на разных языках.
- Внедрить модель в конвейеры генерации текста, где критически важен отказ от ответа при отсутствии надежных данных.
- Использовать стандартный шаблон чата Prelude ChatML и токенизатор от архитектуры Qwen3 для быстрой интеграции.
- Изучить датасеты и пайплайн на GitHub для повторения экспериментов по борьбе с галлюцинациями.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "birgermoell/prelude-9b-sft-v2-hallucination-r2"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype="bfloat16", device_map="auto")
msgs = [{"role": "user", "content": "Wer ist Declan Monmonley?"}]
inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, enable_thinking=False,
return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=256)
print(tok.decode(out[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))Подробнее
Бенчмарки (500 вопросов): галлюцинации на вымышленных субъектах снизились с 97.7% до 1.8%, показатель правдивости (truthfulness) вырос с -85.2 до +3.8.Требования: два узла по 4 × A100 (64 GB) для обучения, для инференса требуется современная видеокарта с поддержкой bfloat16.
Ограничения: модель стала слишком осторожной и теперь часто отказывается отвечать на реальные вопросы о деталях известных людей (например, даты рождения), а режим размышлений (thinking mode) потерял точность на фактах.










Комментарии