SQLBuddy Qwen2.5-Coder-1.5B LoRA
адаптер для генерации SQL из текста
2 мин чтения
Эта модель представляет собой LoRA (небольшая надстройка над базовой моделью) на базе Qwen/Qwen2.5-Coder-1.5B-Instruct, обученную преобразовывать текстовые вопросы в SQL-запросы. Она принимает на вход системное сообщение, схему таблиц (CREATE TABLE) и сам вопрос через чат-шаблон Qwen, а на выходе генерирует один SQLite-запрос. В отличие от базовой модели общего назначения, этот адаптер узко заточен под формат запросов из датасета Spider. Решение пригодится разработчикам, аналитикам и студентам для прототипирования text-to-SQL систем на локальном оборудовании.
Ключевые особенности
- Специализация на text-to-SQL: обучена на 6 560 примерах из бенчмарка Spider с подсчетом функции потерь только по итоговому SQL-коду.
- Настройка архитектуры: адаптер с рангом r=16 и alpha=32 затрагивает проекции attention и MLP слоев (
q_proj,k_proj,v_proj,o_proj,gate_proj,up_proj,down_proj). - Компактный размер: из 1.56 млрд параметров модели обучались только 18.46 млн, что упрощает загрузку и инференс.
- Простая интеграция: легко объединяется с базовой моделью через библиотеку
peft.
Что можно сделать
- Собрать локального помощника для генерации SQLite-запросов по схеме вашей базы данных.
- Встроить модель в чат-бот или внутренний сервис для быстрого перевода вопросов пользователей в SQL.
- Использовать адаптер в учебных проектах для тестирования и оценки качества text-to-SQL моделей.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-Coder-1.5B-Instruct")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-Coder-1.5B-Instruct")
model = PeftModel.from_pretrained(model, "ibrahimsalman022/sqlbuddy-qwen2.5-coder-1.5b-lora").merge_and_unload()Подробнее
Базовая модель: Qwen/Qwen2.5-Coder-1.5B-Instruct (1.56B параметров)Обучение: 2 эпохи (820 шагов), lr 2e-4 cosine, батч 16, max length 1536, fp16
Датасет: Spider (6 560 примеров train, 352 примера val на 8 отложенных БД)
Метрики потерь: final train loss 0.0896, final eval loss 0.2227
Железо при обучении: Tesla T4, пиковое потребление VRAM 5.43 ГБ










Комментарии