Ratchet text-to-SQL adapter

Ratchet text-to-SQL adapter — LoRA-адаптер от harshbhx для NVIDIA Nemotron 3 Nano 4B. Он учит модель писать один SQLite SELECT по схеме БД и вопросу на английском. Обучен дистилляцией от Nemotron 3 Ultra на синтетических данных; в репозитории только адаптер, база — отдельно.

😎 Ключевые особенности

• 🔥 LoRA-адаптер rank 16 размером 40.5 MB для NVIDIA Nemotron 3 Nano 4B.
• 📚 Генерирует один SQLite SELECT по схеме и вопросу на английском.
• 💻 Обучен дистилляцией от Nemotron 3 Ultra на 4 322 синтетических примерах.
• ✔ Каждый обучающий запрос выполнялся в песочнице перед добавлением в данные.
• ❌ Пока не замена большой модели: confidence плохо отличает верные ответы от неверных, при цели 95% precision гейт пропускает почти ничего.

💻 Пример

import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base = "nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16"
tok = AutoTokenizer.from_pretrained(base, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base, trust_remote_code=True, dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, "harshbhx/ratchet-nemotron-nano-4b-text2sql")

Подробнее

Экзамены: 39.0% (67/172) и 33.0% (66/200) у round 2 против 12.8% и 12.5% у базовой модели; строгая проверка — совпадение строк.
Адаптер: LoRA rank 16, 40.5 MB; базе нужны mamba-ssm и causal-conv1d на NVIDIA GPU.
Замеры: 4-bit NF4, greedy, thinking off, до 200 новых токенов.
Ограничения: только SQLite SELECT на английском и небольших схемах; результат — черновик, проверяйте перед запуском.
Это только адаптер; базовая модель скачивается отдельно под своей лицензией.