pedido-extractor-ptbr-lora
LoRA для заказов доставки в JSON
2 min readupdated
Это LoRA-адаптер (QLoRA) для Qwen2.5-1.5B-Instruct, который превращает свободные сообщения о заказе доставки на бразильском португальском в JSON: позиции, количество, примечания, пищевые ограничения и способ оплаты. Автор — pedrohbenetton; обучение шло на синтетических данных, без реальных людей.
Ключевые особенности
- Извлекает из фразы заказ в PT-BR и отдаёт строгий JSON по заданной схеме.
- Понимает правки по ходу сообщения, отмены/замены, опечатки и количество прописью — по данным обучения.
- QLoRA 4 bits, r=16, alpha=32, 2 эпохи, lr 2e-4, обучение на GPU T4.
- 6 000 синтетических примеров по шаблонам; имена блюд — из вымышленного меню на 20 позиций.
- Есть честный раздел ограничений: тест маленький, одна seed, меню закрытое.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "Qwen/Qwen2.5-1.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.float16, device_map="auto")
model = PeftModel.from_pretrained(model, "pedrohbenetton/pedido-extractor-ptbr-lora")
# далее — системный промпт и generate по карточке
Подробнее
На сложном наборе из 60 ручных кейсов: JSON valid 100% против 68,3% у базы; exact match 90,0% против 3,3%; F1 по позициям 93,4% против 12,8%.На синтетическом тесте 600 примеров: 100% valid JSON и 99,8% exact match — это подтверждает усвоение формата, а не решение задачи.
Ограничения: всего 60 тестов, один запуск и одна seed, эталоны с помощью ИИ без внешней проверки; синтетика и закрытое меню — не использовать в продакшене без проверки на реальных сообщениях.










Comments