SmolLM2-SQL-SFT
миниатюрный Text-to-SQL адаптер
1 мин чтения
Модель превращает текстовые вопросы и схемы баз данных в готовые SQL-запросы. Она создана на базе лёгкой языковой модели SmolLM2-135M и дообучена методом LoRA (небольшая надстройка над базовой моделью) на датасете NSText2SQL. Благодаря своим сверхкомпактным размерам модель отлично подойдёт для локального тестирования, простых задач по генерации запросов и изучения принципов работы Text-to-SQL систем на слабом железе.
Ключевые особенности
- Специализация: перевод запросов на естественном языке и схемы БД в SQL-код.
- Базовая архитектура: построена на базе HuggingFaceTB/SmolLM2-135M с применением PEFT и LoRA.
- Лёгкий вес: всего 135 миллионов параметров для быстрой работы на минимальных системных требованиях.
Что можно сделать
- Интеграция в скрипты: встроить адаптер в локальный пайплайн для автоматической генерации SQL-запросов.
- Тестирование: запустить эксперименты по преобразованию текста в код на обычном компьютере без мощной видеокарты.
Пример
Пример промпта из карточки для генерации запроса:
Schema: CREATE TABLE students (id INTEGER, name TEXT, age INTEGER)
Question: Find all students older than 20.
Expected SQL: SELECT * FROM students WHERE age > 20;
Подробнее
Бюллетень обучения: обучение выполнено за 2 эпохи с использованием Hugging Face Transformers и PEFT.Метрики: Exact-Match Accuracy составила 37% (37/100) на тестовом наборе.
Ограничения: модель маленькая, сгенерированный SQL может содержать ошибки и требует проверки перед выполнением.










Комментарии