Tehma/text2sql-qwen2.5-coder-1.5b-onnx
модель для генерации SQL в браузере
2 мин чтенияобновлено
Эта модель представляет собой оптимизированную версию Qwen2.5-Coder-1.5B-Instruct, дообученную на датасете Spider для перевода текстовых запросов в SQL-код. Модель переведена в формат ONNX (формат для запуска моделей на разных платформах) с квантованием q4f16 (4-битные веса для уменьшения размера) специально для работы прямо в браузере с помощью библиотеки Transformers.js на базе WebGPU. Она идеально подойдёт разработчикам, которые хотят добавить локальную генерацию SQL в свои веб-приложения без отправки данных на сервер.
Ключевые особенности
- Базируется на эффективной языковой модели Qwen2.5-Coder-1.5B-Instruct.
- Экспортирована в формат ONNX для работы в браузере через Transformers.js и WebGPU.
- Использует 4-битную квантизацию весов (q4f16) размером 877 МБ для экономии памяти.
- Дообучена методом QLoRA на датасете Spider для задач Text-to-SQL.
Что можно сделать
- Встроить генерацию SQL-запросов по текстовому описанию прямо в клиентскую часть веб-приложения.
- Создать локального помощника для разработчиков, работающего офлайн в браузере.
- Тестировать выполнение запросов на SQLite без поднятия бэкенда.
Пример
import { AutoTokenizer, AutoModelForCausalLM } from "@huggingface/transformers";
const id = "Tehma/text2sql-qwen2.5-coder-1.5b-onnx";
const tokenizer = await AutoTokenizer.from_pretrained(id);
const model = await AutoModelForCausalLM.from_pretrained(id, { dtype: "q4f16", device: "webgpu" });
const inputs = tokenizer.apply_chat_template(messages, { add_generation_prompt: true, return_dict: true });
const out = await model.generate({ ...inputs, max_new_tokens: 256, do_sample: false });
Подробнее
Бенчмарки: 71.4% точности выполнения (execution accuracy) на полном датасете Spider для базовой версии.Требования: Вес модели 877 МБ, в браузере (RTX 3060) выдает около 62 токенов в секунду.
Ограничения: Обучена только на английских вопросах и диалекте SQLite, не тестировалась на реальных бизнес-схемах.
Лицензия: Apache 2.0.










Комментарии