aya-retrieval-c1
LoRA-адаптер для работы с памятью диалога без галлюцинаций
2 мин чтенияобновлено
Перед нами aya-retrieval-c1 — экспериментальный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора KevinVaillancourt, созданный в рамках хакатона Lexsi AI Safety and Alignment 2026. Модель построена на базе компактной CohereLabs/tiny-aya-global размером 3.35B параметров и решает задачу поиска фактов по истории длинных переписок через инструмент search_corpus. Версия C1 — это доработанный кандидат, призванный исправить две главные болезни предыдущего релиза (6.37): привычку модели повторять собственные неверные ответы из видимого контекста и попытки отвечать на вопросы, информации о которых в диалоге вообще не было. Адаптер пригодится разработчикам диалоговых агентов и RAG-систем, которым важна точность извлечения фактов и честный отказ от ответа при нехватке данных.
Ключевые особенности
- Резкое снижение галлюцинаций: на закрытом тесте S3 частота ложных ответов на вопросы о фактах, которых не было в переписке, упала с 40.4% (у версии 6.37) до 4.7% у данного чекпоинта (seed 82).
- Защита от зацикливания на ошибках: вероятность того, что модель снова назовёт своё предыдущее ошибочное значение из контекста, снизилась с 21.8% до 0.3%.
- Улучшенный поиск старых фактов: точность извлечения информации, ушедшей за пределы текущего окна диалога, выросла до 30.7% против 14.3% у базовой модели с тем же инструментом.
- Строгая научная честность: автор честно отмечает, что модель не прошла одно из заранее зарегистрированных правил отбора (уступив базе на 1.3 процентных пункта в общем зачёте по трём сидам), поэтому опубликована как исследовательский кандидат рядом с основным релизом.
Что можно сделать
- Построить агентский поиск по переписке: подключить адаптер к обвязке из репозитория
aya_retrieval, где последние три реплики остаются в контексте, а более старые индексируются для поиска черезsearch_corpus(до 3 запросов на сообщение). - Изучить методы выравнивания (Alignment): использовать модель и открытые логи обучения для экспериментов по отучению компактных LLM от выдумывания ответов на основе нерелевантных фрагментов поиска.
Пример
Для работы с адаптером используется системный промпт aya_retrieval.tool_prompt.system_prompt_with_tools и жадное декодирование (greedy decoding): модель получает последние три обмена репликами целиком, а к более ранней истории диалога обращается через инструмент search_corpus (выбираются топ-5 фрагментов за запрос), воздерживаясь от ответа, если нужного факта в найденных отрывках нет.
Подробнее
Базовая модель: CohereLabs/tiny-aya-global (3.35B, ревизия af89d219), формат PEFT/LoRA (seed 82).Метрики на тесте S3 (60 диалогов на английском): Recall вне окна — 30.7%, верные ответы в окне — 91.7%, связность (оценка Claude Sonnet) — 97 из 120 против 95 у базы.
Обучение: 2 прохода на 1 137 строках исправлений собственных ошибок (lr 0.0001, 1 эпоха, batch 2), заняло 26 минут на RTX 3080 с пиком 7.87 GiB VRAM.
Ограничения: протестировано только на английском языке без ручной проверки разметки человеком.










Комментарии