DeltaGRPO-SQL-1.5B
компактный эксперт по SQLite на базе Qwen2.5-Coder
2 min readupdated
Адаптер превращает языковую модель Qwen/Qwen2.5-Coder-1.5B-Instruct (1.5 млрд параметров) в узкого специалиста по переводу вопросов на естественном языке в запросы SQLite. Разработка команды DeltaTune Lab обучена методом GRPO (обучение с подкреплением на основе реального выполнения запросов). По сравнению с базовой версией адаптер заметно реже ошибается в синтаксисе и дотягивается по точности до гораздо более крупной модели на 7B параметров. Решение пригодится разработчикам аналитических ботов и локальных инструментов для работы с базами данных.
Ключевые особенности
- Качество уровня 7B: при размере в пять раз меньше модель набирает 72.8% Exact match против 72.4% у необученной Qwen2.5-Coder-7B.
- Высокая валидность кода: доля рабочих SQL-запросов выросла с 91.9% до 97.0% относительно исходной базы.
- Рассуждения перед ответом: модель сначала выстраивает логику в тегах
и только потом выдаёт итоговый код в. - Лёгкое подключение: распространяется как LoRA (небольшая надстройка над базовой моделью) для библиотеки
peft.
Что можно сделать
- Встроить в Telegram-бота или ассистента: подключить к локальной базе SQLite, чтобы получать выборки данных по обычным текстовым вопросам.
- Автоматизировать BI-отчёты: передавать модели схему таблиц и примеры строк для быстрой генерации
SELECT-запросов без ручной рутины.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-Coder-1.5B-Instruct", dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "DeltaTune-Labs/DeltaGRPO-SQL-1.5B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-Coder-1.5B-Instruct")
Подробнее
Бенчмарк на 1 000 вопросах из gretelai/synthetic_text_to_sql: Exact match 72.8% (+9.5 п.п.), Result F1 75.1% (+10.4 п.п.), Valid SQL 97.0%.Формат входа: системный промпт с инструкцией, в сообщении пользователя схема (CREATE TABLE / INSERT) и вопрос.
Ограничения: заточена строго под диалект SQLite и генерацию одного SELECT-запроса.
В репозитории в папке eval/ выложены пошаговые результаты оценки и ID вопросов.










Comments