TinySQL-3B-Olist
компактная модель для перевода запросов в PostgreSQL
2 мин чтенияобновлено
TinySQL-3B-Olist — это специализированная Text-to-SQL модель, которая переводит аналитические вопросы на естественном языке в готовые запросы для PostgreSQL 16. Она создана автором Mayank-0Par на базе Qwen2.5-3B-Instruct (3,09 млрд параметров) с помощью QLoRA (метода дообучения с 4-битным сжатием весов) и библиотеки Unsloth. В отличие от универсальных LLM, модель жёстко привязана к конкретной схеме из 9 таблиц датасета Brazilian E-Commerce (Olist) и умеет отказываться от опасных или нерелевантных запросов. Подойдёт разработчикам BI-инструментов и аналитикам, которые строят SQL-агентов под фиксированную базу данных и ограниченные ресурсы.
Ключевые особенности
- Строгий read-only режим: генерирует только аналитические
SELECT-запросы и блокирует опасные команды вродеDROP,DELETE,UPDATEиINSERT. - Защита от галлюцинаций по схеме: возвращает
REFUSE, если пользователь спрашивает о данных, которых нет в таблицах (например, о расходах на рекламу или зарплатах). - Высокая скорость ответа: при деплое через vLLM на одной видеокарте Tesla T4 задержка составляет 185 мс (p50) и 310 мс (p95).
- Формат ChatML с DDL: принимает в системном промпте полную структуру 9 таблиц, внешние ключи и правила расчёта метрик.
Что можно сделать
- Встроить в локального или облачного SQL-ассистента через vLLM или
PEFTповерхQwen/Qwen2.5-3B-Instructдля работы с базой заказов Olist. - Использовать как референсный пайплайн с self-healing агентом (автоисправлением ошибок SQL) для повышения точности сложных запросов с
JOINи оконными функциями.
Пример
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B-Instruct")
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct", torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(base_model, "train/tinysql_adapter")
prompt = "<|im_start|>system\nYou are TinySQL, a PostgreSQL 16 Text-to-SQL expert. Return ONLY valid SQL.<|im_end|>\n<|im_start|>user\nWhat are the top 3 product categories by delivered revenue?<|im_end|>\n<|im_start|>assistant\n"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=150, do_sample=False)
print(tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))
Подробнее
Точность Execution Accuracy на 30 тестовых вопросах: 63,3% в zero-shot режиме и 86,7% в связке с self-healing агентом; 100% на простых агрегациях и распознавании неразрешимых запросов.Обучение заняло 14 минут 12 секунд на 1× NVIDIA Tesla T4 (16 ГБ VRAM) в 4-bit NF4 (LoRA r=16, alpha=32) на 228 примерах.
Ограничения: модель заточена под конкретную 9-табличную схему Olist и диалект PostgreSQL 16, без дополнительного дообучения не переносится на произвольные базы данных.










Комментарии