Qwen2.5-Coder-1.5B Finance SQL (LoRA)
генерация SQL-запросов для финансовых баз данных
2 min read
Лёгкий QLoRA-адаптер (небольшая надстройка над базовой моделью весом 36 МБ) от автора ncfad на базе Qwen2.5-Coder-1.5B-Instruct для задачи text-to-SQL — перевода вопросов на естественном языке в SQL-запросы. Модель принимает вопрос пользователя и DDL-схему базы данных, а на выходе выдаёт один готовый запрос SELECT без изменения данных. Адаптер заточен под вопросы о личных финансах и привязан не к одной фиксированной схеме, а умеет работать с любой переданной в промпте структурой таблиц. По сравнению с базовой Qwen2.5-Coder-1.5B он почти вдвое чаще выдаёт точное совпадение с эталонным запросом и заметно снижает количество синтаксических ошибок. Пригодится разработчикам пет-проектов, трекеров расходов и прототипов аналитических ассистентов.
Ключевые особенности
- Привязка к схеме БД: каждый пример при обучении содержал собственное описание таблиц (DDL), поэтому адаптер подстраивается под переданную ему структуру базы.
- Фокус на чтение данных: модель обучена генерировать исключительно
SELECT-запросы (из обучения удалили более 300 запросов на изменение данных). - Компактный размер: веса
adapter_model.safetensorsзанимают всего 36 МБ (обучено 1.18% параметров от 1.56B базы). - Комбинированный датасет: 11 122 примера на базе финансового домена Gretel
synthetic_text_to_sql(с тройным повторением), WikiSQL и Spider.
Что можно сделать
- Встроить в прототип бота или приложения для учёта личных финансов, чтобы отвечать на вопросы вида «сколько потрачено по категориям».
- Использовать как локальный генератор SQL-запросов для небольших SQLite-баз на слабом железе (адаптер обучался на ноутбучной RTX 3050 с 4.3 ГБ видеопамяти).
- Подключить поверх базовой
Qwen2.5-Coder-1.5B-Instructчерез библиотекуpeftв связке с предварительной проверкой запроса черезEXPLAIN QUERY PLAN.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_id = "Qwen/Qwen2.5-Coder-1.5B-Instruct"
adapter_id = "ncfad/qwen2.5-coder-1.5b-finance-sql-lora"
tokenizer = AutoTokenizer.from_pretrained(base_id)
model = AutoModelForCausalLM.from_pretrained(base_id, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(model, adapter_id)
Подробнее
Метрики на тестовом наборе Gretel finance (72 примера): Exact match вырос с 12.5% до 22.2%, валидный по схеме SQL — с 62.5% до 68.1%, точность выполнения (n=48) — с 52.1% до 56.2%.Параметры LoRA: r=16, alpha=32, dropout 0.05, all-linear; максимальная длина последовательности — 512 токенов.
Ограничения: модель плохо справляется со сложными конструкциями (CTE, подзапросы, оконные функции) и обучена на синтетических данных.
Безопасность: адаптер только генерирует текст запроса — перед выполнением в БД необходима валидация и песочница с правами read-only.










Comments