Text-to-SQL Hinglish LoRA
SQL-запросы на английском и хинглише
1 min readupdated
LoRA-адаптер для Qwen/Qwen2.5-Coder-3B-Instruct, обученный через QLoRA (Unsloth, rank 16, 1 эпоха) на train-части Spider и 600 вопросах на хинглише. Автор дообучал на одной RTX 4060 8 GB. Адаптер превращает схему БД и вопрос в SQL-запрос.
Ключевые особенности
- База — Qwen2.5-Coder-3B-Instruct, адаптер в PEFT/LoRA.
- Понимает английские и хинглиш-вопросы к базе.
- Execution accuracy на Spider dev: 71.6% English и 66.0% Hinglish.
- Прирост над базой: +9.3 п.п. English и +19.5 п.п. Hinglish.
- Генерируемый SQL советуют запускать только read-only.
Пример
schema = "CREATE TABLE singer (singer_id number, name text, PRIMARY KEY (singer_id));"
prompt = f"""Database schema:
{schema}
Question: Kitne singers hain?
SQL:"""
Подробнее
Обучение: QLoRA, rank 16, 1 эпоха, одна RTX 4060 8 GB.Результаты: English 71.6% против 62.3% у базы; Hinglish 66.0% против 46.5%.
Ограничения: один запуск и один seed; Hinglish-тест переводили тем же способом, что и train, поэтому оценка может быть оптимистичной.
Spider — небольшие чистые схемы; на больших реальных БД не проверяли.










Comments