Qwen2.5-Coder-1.5B-Text2SQL-LoRA
компактная модель для генерации SQLite-запросов
2 мин чтенияобновлено
Эта модель переводит текстовый вопрос на английском языке и схему таблицы в готовый SQLite-запрос. В основе лежит компактная языковая модель Qwen2.5-Coder-1.5B-Instruct (1,54 млрд параметров), дообученная методом QLoRA (квантованная адаптация с низким рангом, позволяющая обучать модели с меньшим расходом видеопамяти). Веса адаптера уже объединены с базовой моделью в формате fp16, поэтому она загружается как обычная LLM без дополнительных настроек. В сравнении с оригинальной базой новинка точнее выполняет запросы на реальных базах данных и пригодится разработчикам, которым нужен быстрый и лёгкий локальный помощник для SQLite.
Ключевые особенности
- Прирост точности выполнения (execution accuracy): на тесте Gretel результат вырос с 61,0% до 71,3% (+10,3 п.п.), а на незнакомых схемах Spider dev — с 46,1% до 55,2% (+9,1 п.п.).
- Готовые объединённые веса в fp16 в корне репозитория плюс отдельный адаптер в папке
adapter/. - Обучена на 12 000 проверенных примеров из датасета
gretelai/synthetic_text_to_sqlс расчётом функции потерь только по токенам ответа. - Открытая лицензия Apache-2.0, полностью совместимая с коммерческим использованием.
Что можно сделать
- Встроить локальный natural-language интерфейс в небольшое приложение или Telegram-бот для аналитики по SQLite-базам без отправки схем в облачные API.
- Использовать как быстрый генератор черновых SELECT-запросов при прототипировании баз данных с последующей ручной проверкой.
- Забрать чистый адаптер из папки
adapter/для экспериментов с объединением или дообучением поверхQwen2.5-Coder-1.5B-Instruct.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
repo = "2003Rohansinha/Qwen2.5-Coder-1.5B-Text2SQL-LoRA"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype=torch.float16, device_map="auto")
msgs = [{"role": "system", "content": "You are an expert SQL assistant. Given a database schema and a question, write one SQLite query that answers the question. Return only the SQL query in a ```sql code block."}, {"role": "user", "content": "CREATE TABLE employees (id INTEGER, name TEXT, dept TEXT, salary REAL); What is the average salary in each department?"}]
ids = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(ids, max_new_tokens=256, do_sample=False)[0][ids.shape[1]:], skip_special_tokens=True))
Подробнее
Бенчмарки (execution accuracy, жадный декодинг): Gretel test (300 вопросов) — 71,3% против 61,0% у базы; Spider dev (1034 вопроса) — 55,2% против 46,1% у базы.Обучение: QLoRA (4-bit NF4, r=16, alpha=32, dropout 0.05) на 2× T4 GPU в Kaggle, lr 2e-4.
Ограничения: заточена строго под синтаксис SQLite (для Postgres или MySQL нужны правки), может ошибаться на сложных JOIN и вложенных запросах, запускать сгенерированный код стоит только через read-only подключение.










Комментарии