Tehma/text2sql-qwen2.5-coder-3b-onnx
модель для генерации SQL-запросов в браузере
2 мин чтения
Эта модель представляет собой версию Qwen2.5-Coder-3B-Instruct (языковая модель для работы с кодом с размером 3 миллиарда параметров), дообученную методом QLoRA (квантованная адаптация) на датасете Spider для перевода текста в SQL-запросы. Главная особенность релиза — конвертация весов в 4-битный формат ONNX (q4f16) для запуска прямо в браузере с помощью библиотеки Transformers.js и аппаратного ускорения WebGPU. Модель полезна разработчикам, которым нужно внедрить локальную генерацию SQL из текстовых вопросов без отправки данных на сервер.
Ключевые особенности
- Экспорт в ONNX (формат для кроссплатформенного запуска моделей) с 4-битным квантованием весов (размер файлов около 1.74 ГБ).
- Поддержка работы в браузере на WebGPU с высокой скоростью генерации (около 45 токенов в секунду на RTX 3060).
- Специализация на генерации SQLite-запросов по заданной схеме базы данных и текстовому вопросу.
- Локальное выполнение без необходимости развертывания тяжелых бэкенд-серверов.
Что можно сделать
- Интегрировать модель в веб-приложение на Transformers.js для создания интерактивных интерфейсов работы с базами данных прямо в браузере.
- Создать локального помощника для аналитики, который переводит запросы пользователей на естественном языке в SQL-код.
Пример
import { AutoTokenizer, AutoModelForCausalLM } from "@huggingface/transformers";
const id = "Tehma/text2sql-qwen2.5-coder-3b-onnx";
const tokenizer = await AutoTokenizer.from_pretrained(id);
const model = await AutoModelForCausalLM.from_pretrained(id, { dtype: "q4f16", device: "webgpu" });
const inputs = tokenizer.apply_chat_template(messages, { add_generation_prompt: true, return_dict: true });
const out = await model.generate({ ...inputs, max_new_tokens: 256, do_sample: false });Подробнее
Бенчмарки: на датасете Spider (первые 200 вопросов dev-выборки) точность выполнения q4f16 ONNX составляет 64.0%.Требования к железу: устройство с поддержкой WebGPU (например, видеокарта уровня RTX 3060 выдает скорость ~45 токенов/с).
Ограничения: модель обучена на датасете Spider (английский язык, диалект SQLite, академические схемы), не тестировалась на других диалектах SQL или реальных бизнес-базах.
Лицензия: Qwen Research License (только для некоммерческого использования).










Комментарии