InfoFrota Text-to-SQL LoRA

Это LoRA-адаптер для unsloth/Llama-3.1-8B-Instruct, который превращает вопросы на португальском в SQLite-запросы к синтетической базе проекта InfoFrota: занятость автобусов, оповещения о переполнении, линии и остановки. Обучен через QLoRA в 4-bit nf4 без retrieval-контекста.

1⃣ Ключевые особенности

• ➕ LoRA: r=16, alpha=32, dropout 0,05; модули q, k, v, o, gate, up и down.
• ➖ Данные синтетические: 738 примеров (679 тренировка, 59 валидация), 8% отказов для вопросов вне домена или запросов на запись.
• ✖ Обучение: 3 эпохи, эффективный batch 16, lr 2e-4 с косинусом, GPU T4 в Kaggle.
• ▶ В карточке есть код загрузки и указание на промпты в режиме compacto.
• ◀ Сгенерированный SQL должен проходить read-only guard в три слоя; авторы прямо запрещают продакшен.

2⃣ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base = 'unsloth/Llama-3.1-8B-Instruct'
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, device_map='auto',
    quantization_config=BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type='nf4'))
model = PeftModel.from_pretrained(model, 'David-Evora/infofrota-text2sql-lora')

Подробнее

Бенчмарк v2.1, 56 вопросов zero-shot: база 19/56 (33,9%), адаптер 36/56 (64,3%).
Авторы предупреждают: данные синтетические, сложный уровень остаётся низким, у вопроса D06 известен дефект эталона.
Лицензия — Llama 3.1 Community License; PEFT 0.21.2.