LoRA для Qwen3.5-4B: генерация SQL на русском, английском и узбекском
2 мин чтенияобновлено
Этот LoRA-адаптер (небольшая надстройка над базовой моделью) обучен превращать вопросы на естественном языке в готовые запросы PostgreSQL. Модель создана на базе Qwen/Qwen3.5-4B и поддерживает запросы на английском, русском и узбекском языках (в латинице и кириллице). Она превосходит базовую модель по точности выполнения SQL-запросов и работает без генерации внутреннего рассуждения (thinking), выдавая результат сразу. Новинка пригодится разработчикам и аналитикам данных, работающим с многоязычными базами.
Ключевые особенности
- Повышение точности на бенчмарке uzbird до 58.6% против 50.2% у базовой модели.
- Поддержка английского, русского и узбекского языков (латиница и кириллица).
- Обучение выполнено исключительно на целевых SQL-запросах без промежуточных рассуждений.
- Настройка LoRA с рангом 32 на всех линейных слоях модели.
Что можно сделать
- Применить адаптер в пайплайнах Text-to-SQL для автоматической генерации запросов к базам данных.
- Интегрировать модель в аналитические чат-боты для запросов на русском или узбекском языках.
- Запустить инференс с помощью библиотеки peft или объединить веса для работы через vLLM.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.5-4B")
base = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3.5-4B", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "mirzakhojayev/t2sql-uz-qwen3.5-4B")
system = ("You are an expert data analyst. Write one SQL query that answers the question for the given database. "
"Use only tables and columns from the schema, and the SQL dialect named in the prompt. "
"Briefly explain your reasoning, then give the final query in a ```sql code block.")
user = """Dialect: PostgreSQL
Schema:
CREATE TABLE schools (
cdscode TEXT PRIMARY KEY,
county TEXT,
charter BIGINT
);
Question: Los Angeles okrugida nechta charter maktab bor?"""
text = tok.apply_chat_template([{"role": "system", "content": system}, {"role": "user", "content": user}],
tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(text, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, do_sample=True, temperature=0.7, top_p=0.8, top_k=20)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Подробнее
Метод: LoRA, rank 32, alpha 64, dropout 0.05 на всех линейных слояхДатасет: 26 249 примеров из uzbird train (BIRD train и SynSQL-2.5M)
Оборудование: 1× A100 40GB, обучение заняло 4.7 часа (пиковая память 32.7 ГБ)
Лицензия: Apache 2.0










Комментарии