ragtruth-smollm3-3b-qlora
компактный детектор галлюцинаций для RAG
2 мин чтенияобновлено
Это QLoRA-адаптер (небольшая надстройка над базовой моделью с 4-битным квантованием) от автора amp1414, который проверяет, опирается ли сгенерированный ответ на переданные фрагменты текста. На вход подаются вопрос, исходные документы и проверяемый ответ, а на выходе модель выдаёт бинарную метку: SUPPORTED или UNSUPPORTED. Адаптер построен на базе instruction-версии HuggingFaceTB/SmolLM3-3B и обучен на QA-части датасета RAGTruth. В отличие от базовой модели, которая часто ошибается в строгой бинарной классификации, надстройка заметно точнее ловит выдуманные факты без опоры на контекст. Пригодится разработчикам RAG-систем для фильтрации и постпроверки ответов.
Ключевые особенности
- Повышает Macro-F1 на официальном тесте RAGTruth QA с 0.5336 до 0.8292 по сравнению с голой 4-битной базой.
- Выдаёт строгий формат ответа без лишнего текста — 0 невалидных генераций из 900 примеров.
- Обновляет всего ~15,1 млн параметров (0,489% от 3B) при ранге LoRA
r=8иalpha=16. - Распространяется под открытой лицензией Apache-2.0 и требует отдельно загружать базовую
SmolLM3-3B.
Что можно сделать
- Добавить как этап автоматической проверки перед показом ответа пользователю в корпоративных RAG-поисковиках.
- Использовать в связке с
PEFTи 4-битнойSmolLM3-3Bдля разметки подозрительных ответов и отправки их на ручную модерацию.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("HuggingFaceTB/SmolLM3-3B")
base = AutoModelForCausalLM.from_pretrained("HuggingFaceTB/SmolLM3-3B", load_in_4bit=True, device_map="auto")
model = PeftModel.from_pretrained(base, "amp1414/ragtruth-smollm3-3b-qlora")
Подробнее
Accuracy на 900 тестовых примерах RAGTruth QA: 89.89%, F1 по классуUNSUPPORTED: 0.7200 (recall 73.13%, precision 70.91%).Обучался 1 эпоху (516 шагов) на ноутбучной GeForce RTX 4070 Laptop GPU с 8 ГБ VRAM.
Ограничения: только английский язык, контекст до 1152 токенов, бинарная оценка всего ответа целиком без подсветки конкретных ошибочных фраз.










Комментарии