TinyAya IDK
адаптеры для честного «не знаю»
2 min readupdated
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) для CohereLabs/tiny-aya-global, которые учат нейросеть отвечать «I don't know», когда она не уверена в фактах. В отличие от базовой модели, склонной выдумывать ответы при нехватке знаний, эти адаптеры снижают долю галлюцинаций на нескольких языках (en, es, ar, ms). В репозитории собраны варианты под разные рецепты обучения (R1–R5) и языки. Разработка пригодится исследователям и разработчикам систем вопросов и ответов, которым важно минимизировать выдуманные факты.
Ключевые особенности
- Снижение галлюцинаций: метод R4 уменьшает частоту выдуманных ответов с 0.80–0.85 у базовой модели до 0.19–0.26.
- Поддержка 4 языков: адаптеры подготовлены для английского, испанского, арабского и малайского языков (en, es, ar, ms).
- 5 рецептов обучения: в папках
R{recipe}_{lang}_s{seed}доступны разные подходы — от teacher traps (R1) до комбинации probe и consistency labels (R5). - Эффективность без разметки: обучение на метках без ручной разметки (R4) статистически не уступает эталонным gold labels (R2) для en, es и ms.
Что можно сделать
- Уменьшить выдумки в QA-ботах: подключить нужный языковой адаптер поверх
CohereLabs/tiny-aya-globalдля задач вопросов и ответов с жестким контролем достоверности. - Сравнить стратегии калибровки LLM: протестировать рецепты R1–R5 из одного репозитория, чтобы оценить баланс между отказом от ответа и сохранением полезных знаний.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("CohereLabs/tiny-aya-global")
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="float16", device_map="auto")
model = PeftModel.from_pretrained(base, "EmanMirza2025/tinyaya-idk-adapters", subfolder="R4_es_s1")
Подробнее
Метрики (тест, 252 вопроса на язык): снижение hallucination rate с 0.80–0.85 до 0.19–0.26 (рецепт R4).Параметры LoRA: r=16, alpha=32, dropout 0.05, 2 эпохи, lr 1e-4; загрузка в float16.
Ограничения: модель может отказываться отвечать на 19–38% вполне решаемых вопросов (over-refusal).
Обучено и протестировано только на датасете MKQA; не является safety-тюнингом; лицензия базы cc-by-nc-4.0.










Comments