quant-master-v1-candidate
адаптер для Qwen3-1.7B, снижающий галлюцинации
2 мин чтенияобновлено
Этот LoRA-адаптер (небольшая надстройка над базовой моделью) учит компактную языковую модель Qwen3-1.7B честно отказываться от ответа, когда данных недостаточно, вместо того чтобы выдумывать факты. Разработчик SZLHOLDINGS обучил его методом QLoRA на датасете quant-curriculum-v1 из 1000 примеров, где 70% занимает анализ режимов и 30% — примеры отказа от прогнозирования. Главное отличие от базовой Qwen3-1.7B и других вариантов обучения в том, что честность в узкой области переносится на общую способность модели не галлюцинировать. Адаптер пригодится исследователям и разработчикам ИИ-агентов, которым важно снизить количество ложных утверждений у лёгких моделей.
Ключевые особенности
- Перенос честности: обучение распознавать границы своих знаний в конкретной предметной области помогло модели чаще воздерживаться от выдумок в общих задачах.
- Компактный формат PEFT: это не самостоятельная нейросеть, а лёгкий адаптер поверх Qwen/Qwen3-1.7B, обученный через QLoRA (r=16, alpha=32).
- Сравнение пяти подходов: в серии экспериментов автора только доменная честность сдвинула базовый уровень галлюцинаций, обойдя обучение на жёстких правилах отказа и тренировку на коде.
- Прозрачная воспроизводимость: в публичной цепочке отчётов зафиксированы все параметры железа, версии библиотек и результаты по каждому тестовому вопросу.
Что можно сделать
- Встроить в ИИ-агента: использовать связку Qwen3-1.7B и этого адаптера как базовый модуль для агентов, где критично вовремя признать нехватку информации.
- Изучить методику дообучения: взять подход с пропорцией 70% доменного анализа и 30% отказов из датасета quant-curriculum-v1 для борьбы с выдумками в своих небольших LLM.
Пример
В карточке нет примера кода запуска, но описан сценарий проверки: модели подают 6 контрольных вопросов (3 с известным ответом и 3 без ответа) при детерминированной генерации с лимитом 200 токенов. Адаптер набрал 5 из 6 баллов, корректно распознав вопросы без ответа, тогда как оригинальная Qwen3-1.7B показала результат 3 из 6.
Подробнее
Бенчмарк: 5/6 на батарее из 6 тестов (против 3/6 у базовой Qwen3-1.7B и 3/6 у вариантов на правилах отказа).Обучение: 200 шагов (batch_size=2, grad_accum=4, lr=2e-4, bf16) на одной видеокарте NVIDIA RTX A6000 (48 ГБ).
Ограничения: оценка проводилась только на 6 фиксированных пробах, а детектор отказов отслеживает словарь из 17 формулировок.










Комментарии