ZAC 2026 DataMate SQL-LoRA
адаптеры-вето для проверки SQL-ответов
2 мин чтенияобновлено
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) для Qwen3.5-9B, созданный для текстового агента DataMate в рамках соревнования ZAC 2026. Адаптеры работают как механизм «вето» при генерации произвольных SQL-запросов: система сравнивает ответы голой базовой модели с ответами, полученными с участием адаптера, и при расхождении переводит результат в режим воздержания (abstain). Такой подход защищает от штрафов за неверные ответы, поскольку в метрике задачи ошибка отнимает балл, а отказ от ответа — нет. Решение ориентировано на разработчиков text-to-SQL систем и агентских пайплайнов, которым критична точность и минимизация галлюцинаций при работе с базами данных.
Ключевые особенности
- Три варианта адаптеров в комплекте: две версии, обученные методом SFT (чекпоинты
q1c300иq1c400), и одна версия с дообучением DPO + SFT (d2c). - Готовность к работе в vLLM: адаптеры имеют rank 16, а ключи весов уже переименованы под архитектуру VL-чекпоинта (
base_model.model.model.language_model.layers.*). - Снижение цены ошибки: при смешивании сэмплов (2 из 4 вариантов SQL-голосования генерируются через LoRA) противоречивые ответы отсеиваются через
veto_merge.py. - Прирост на валидации: добавление вето-фазы даёт прирост от +3.75 до +6.1 вопросов на публичном сплите относительно базового прогона (средний скор базы +0.870, итоговый end-to-end с
q1c300— +0.874).
Что можно сделать
- Встроить в text-to-SQL пайплайн на vLLM: подключить выбранную папку как LoRA-адаптер к Qwen/Qwen3.5-9B для кросс-проверки сгенерированных запросов перед их выполнением в БД.
- Сравнить стратегии SFT и DPO на своих данных: протестировать поведение чекпоинтов
q1c400(максимальный прирост на публичном тесте) иd2c(лучший баланс на synthetic gate) в задачах голосования (self-consistency).
Пример
Для запуска в пайплайне DataMate одну из папок с адаптером помещают в директорию models/datamate/sqllora/ рядом с базовой моделью Qwen/Qwen3.5-9B. Сервер инференса запускается со следующими флагами vLLM:
vllm serve Qwen/Qwen3.5-9B --enable-lora --max-lora-rank 16 --seed 2026Подробнее
Базовая модель: Qwen/Qwen3.5-9B (ревизия c202236235762e1c871ad0ccb60c8ee5ba337b9a).Метрики (veto gain): q1c300 даёт +4.25 вопроса (gate veto net: +1 / +1), q1c400 даёт +6.1 вопроса (-1 / 0), d2c даёт +3.75 вопроса (+4 / +1).
Обучение SFT: rank 16, lr 1e-4, 1 эпоха, отбор корректных SQL-сэмплов базовой модели без утечки публичных тестовых данных.
Обучение DPO (d2c): rank 16, lr 1e-4, beta 0.1, SFT weight 0.2, 1 эпоха, до 1200 пар (выбранный правильный и отклонённый неверный SQL-ответ на один промпт).










Комментарии