Qwen2.5-3B Text-to-SQL LoRA Exp F
компактный адаптер для генерации SQL-запросов
2 мин чтенияобновлено
Лёгкий LoRA-адаптер (надстройка над базовой нейросетью без полного переобучения), который превращает компактную языковую модель Qwen2.5-3B-Instruct в специализированного помощника для перевода вопросов на естественном языке в SQLite-запросы. Автор (Matheus, проект для курса NLP в университете UFAM) дообучил модель на 7000 примерах из датасета Spider так, чтобы она выдавала только готовый SQL-код по переданной схеме таблиц без лишних пояснений. В отличие от базовой модели, адаптер заметно точнее строит запросы, но при этом не теряет общие навыки рассуждения. Решение подойдёт разработчикам и аналитикам, которым нужен быстрый локальный генератор SQL на базе 3-миллиардной LLM.
Ключевые особенности
- Заметный прирост точности: на локальной проверке Spider dev модель набрала 68,18% (705/1034 верных выполнений) против 59,57% у базовой Qwen2.5-3B-Instruct (+8,61 п.п.).
- Без деградации общих знаний: на контрольной выборке из 150 задач MMLU адаптер сохранил результат оригинальной модели — 86/150 (57,33%).
- Компактный размер: адаптер содержит около 7,37 млн параметров (288 тензоров LoRA) и загружается поверх стандартной Qwen2.5-3B-Instruct через библиотеку PEFT.
- Чистый вывод: обучена отвечать строго SQL-запросом без markdown-разметки и комментариев, опираясь только на переданную схему БД.
Что можно сделать
- Встроить в локального ассистента аналитика или Telegram-бота, чтобы переводить вопросы пользователей на английском в запросы к базам SQLite.
- Использовать в связке с 3-shot промптами (несколькими примерами в запросе) для повышения точности на сложных схемах данных.
- Взять за отправную точку для экспериментов и дообучения LoRA под собственные корпоративные схемы баз данных.
Пример
from peft import PeftConfig, PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
adapter_id = "mh131105/qwen2.5-3b-text-to-sql-lora-exp-f"
config = PeftConfig.from_pretrained(adapter_id)
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path)
base = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, adapter_id).eval()
Подробнее
Метрики: Spider dev (локальный execution accuracy) — 68,18% (+8,61 п.п. к базе), MMLU 150 — 57,33%.Обучение: 2 эпохи на 7000 англоязычных парах из Spider (multispider), rank 16, alpha 32, dropout 0,05, точность BF16 на NVIDIA A100-40GB.
Ограничения: предназначена только для исследовательских и некоммерческих целей (лицензия Qwen Research License); сгенерированный SQL требует обязательной проверки перед запуском на реальных базах.










Комментарии