SmolLM2-1.7B booking extractor (LoRA)
парсинг запросов на бронирование в JSON
2 min readupdated
Компактный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора moghbaie на базе SmolLM2-1.7B-Instruct, который превращает короткие текстовые запросы на английском языке о записи, переносе или отмене брони в строгий JSON. В отличие от базовой модели без дообучения, адаптер умеет определять намерение пользователя, вычислять точные даты по переданному в промпте календарю и сигнализировать, если для оформления не хватает данных. Пригодится разработчикам чат-ботов, голосовых ассистентов и систем записи, которым нужен лёгкий локальный парсер намерений.
Ключевые особенности
- Точная структура ответа: возвращает JSON с пятью полями (
intent,date,time,resource,needs_clarification), заполняя недостающие сведения значениемnull. - Работа с относительными датами: за счёт передачи в промпт календаря на 21 день вперёд модель переводит фразы вроде «в следующую пятницу» в формат
YYYY-MM-DDвместо подсчёта дней в уме. - Сохранение общих навыков: благодаря добавлению 10% общих инструкций при обучении адаптер не деградировал в стандартных тестах
IFEval(47.69) иHellaSwag(71.74). - Лёгкость запуска: работает через стандартные библиотеки
transformers(от версии 4.56) иpeftв форматеbfloat16илиfloat32, а также запускается на CPU.
Что можно сделать
- Автоматизировать приём заявок: встроить модель в англоязычного бота для бронирования переговорных, студий или спортивных кортов, чтобы переводить сообщения клиентов в команды для API.
- Реализовать сценарии уточнения: использовать флаг
needs_clarification, чтобы бот автоматически переспрашивал пользователя, если тот забыл указать время или нужный зал. - Дообучить под свои объекты: взять архитектуру и подход с календарным контекстом за основу для парсинга расписаний с собственными названиями ресурсов.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
BASE = "HuggingFaceTB/SmolLM2-1.7B-Instruct"
ADAPTER = "moghbaie/smollm2-1.7b-booking-extractor-lora"
tok = AutoTokenizer.from_pretrained(BASE)
model = PeftModel.from_pretrained(AutoModelForCausalLM.from_pretrained(BASE), ADAPTER).eval()
# Вход: "can u move my court 2 slot to next fri at 4:30pm" -> JSON с intent="reschedule" и date="2026-11-13"Подробнее
Метрики Exact Match (совпадение всех 5 полей): 95.00% на v3 test и 77.00% на усложнённом наборе v3 stress (против 2.0–3.0% у исходной SmolLM2-1.7B).Обучение: 4 500 синтетических английских примеров, LoRA r=16, α=32 на всех линейных слоях; заняло около 13 минут на одной A100 40 GB.
Ограничения: обучена на 8 названиях объектов (Room A–C, Studio 1–2, Lab 3, Court 1–2), не учитывает часовые пояса, хуже справляется со сложным счётом дней («через две недели» — 56–65%) и требует обязательного промпта с календарём (~300 токенов).










Comments