aya-8b-sql-heal-lora
мультиязычный агент для исправления SQL-запросов
2 мин чтенияобновлено
Эта модель представляет собой LoRA-адаптер (небольшую надстройку над базовой нейросетью) для языковой модели CohereLabs/aya-expanse-8b размером 8 млрд параметров, созданный пользователем Mrunal1201 в рамках хакатона Lexsi Hackathon. Она умеет не просто переводить вопросы на естественном языке в SQL-запросы для SQLite, но и самостоятельно чинить их при возникновении ошибок выполнения. В отличие от базовой версии, адаптер обучен работать в многошаговом цикле обратной связи: получив реальную ошибку от базы данных, модель анализирует схему таблиц в блоке рассуждений и выдает исправленный код. При этом нейросеть сохранила свои мультиязычные способности, поэтому пригодится разработчикам локальных аналитических ассистентов и ботов для работы с базами данных на разных языках.
Ключевые особенности
- Цикл самоисправления: модель принимает сообщение об ошибке
sqlite3.OperationalError, проверяет структуру таблиц и генерирует рабочий вариант запроса. - Рост точности на SQLite: доля корректно выполненных запросов после исправления выросла с 57,5% у базовой модели до 63,5%, а общая доля исполняемого SQL достигла 96,0%.
- Сохранение мультиязычности: 96,0% качества рассуждений сохранилось на 10 неанглийских языках (включая немецкий, испанский, французский, китайский и арабский) без катастрофического забывания.
- Дистилляция знаний: адаптер обучен с помощью фреймворка AgentTune на 1200 многошаговых диалогах, сгенерированных при участии более крупной модели Qwen-72B.
Что можно сделать
- Встроить в Telegram-бота или внутренний корпоративный сервис аналитики, чтобы сотрудники могли задавать вопросы к локальным базам SQLite на родном языке.
- Использовать как автономный агентский модуль (Text-to-SQL), который сам переписывает запрос при опечатках в названиях колонок или сложных объединениях таблиц (JOIN).
- Развернуть на собственном сервере с одной видеокартой уровня NVIDIA L4 для полной приватности данных без обращения к облачным API.
Пример
base_model = AutoModelForCausalLM.from_pretrained("CohereLabs/aya-expanse-8b", torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base_model, "Mrunal1201/aya-8b-sql-heal-lora")
messages = [
{"role": "system", "content": "Schema:\nCREATE TABLE customers (id INT, name TEXT, balance REAL);"},
{"role": "user", "content": "Find all customers with balance over 1000."},
{"role": "assistant", "content": "```sql\nSELECT name FROM customers WHERE amount > 1000;\n```"},
{"role": "user", "content": "SQLite Execution Error: no such column: amount\nPlease inspect the schema and fix the query."}
]
outputs = model.generate(tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda"), max_new_tokens=256)
Подробнее
Бенчмарк AuditKIT (200 тестовых сценариев): 63,5% успешных исправлений (против 57,5% у базы и 71,0% у Qwen-72B), 96,0% исполняемого SQL.Обучение: 150 шагов (2 эпохи) в BF16 с рангом LoRA r=16, alpha=32 и длиной контекста 1536 токенов на NVIDIA L4 (пиковое потребление 13,9 ГБ VRAM).
Ограничения: скорость генерации составляет 35,67 ток/с; устойчивость к SQL-инъекциям на провокационных тестах составила 14,0%, поэтому требуются строгие права только на чтение (read-only).










Комментарии