qwen2.5-0.5b-text-to-sql
компактный парсер для перевода текста в SQL
2 мин чтенияобновлено
Эта модель представляет собой легкий адаптер (LoRA, небольшая надстройка над базовой моделью), обученный превращать вопросы на естественном языке в готовые SQL-запросы. Она создана на базе миниатюрной языковой модели Qwen/Qwen2.5-0.5B-Instruct и специализируется на работе со схемами баз данных DDL. Благодаря ультракомпактному размеру в 0.5 миллиарда параметров модель отлично подходит для быстрого локального развертывания, микросервисов и работы на слабомощном железе. Она пригодится разработчикам и аналитикам, которым нужно встраивать генерацию SQL в свои приложения без обращения к тяжелым облачным API.
Ключевые особенности
- Точность парсинга: значительное снижение перплексии и ошибок по сравнению с базовой моделью.
- Низкая задержка: легкая архитектура обеспечивает высокую скорость генерации запросов.
- Обобщение на новые домены: модель протестирована на неизвестных ранее типах баз данных.
- Совместимость: полная интеграция со стандартными библиотеками Hugging Face, такими как transformers и peft.
Что можно сделать
- Генерация SQL из текста: встраивать модель в локальные боты и приложения для удобной работы с базами данных.
- Интеграция в пайплайны: использовать в системах RAG (генерация с дополненным поиском) для точного извлечения структурированных данных.
- Развертывание на краю: запускать парсер на локальных устройствах или серверах с минимальными требованиями к видеопамяти.
Пример
Пример использования модели для генерации SQL-запроса по схеме таблицы и вопросу:
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel
base_model_id = "Qwen/Qwen2.5-0.5B-Instruct"
adapter_id = "vennyvirtuoso/qwen2.5-0.5b-text-to-sql"
tokenizer = AutoTokenizer.from_pretrained(adapter_id)
base_model = AutoModelForCausalLM.from_pretrained(
base_model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
model = PeftModel.from_pretrained(base_model, adapter_id)
model.eval()Подробнее
Берчмарки: перплексия снизилась с 7.45 до 1.62 (-78.2%)Требования: минимальные благодаря базовой модели на 0.5B параметров
Лицензия: Apache 2.0 для коммерческого и учебного использования
Датасет: gretelai/synthetic_text_to_sql










Комментарии