LFM3-1.7B product page extraction
парсер карточек товаров в JSON
2 min readupdated
Эта LoRA (небольшая надстройка над базовой моделью) от автора jxxxll создана на базе компактной языковой модели LiquidAI/LFM3-1.7B. Она принимает очищенный HTML веб-страницы интернет-магазина и возвращает структурированный JSON со всей информацией о товаре: названием, брендом, моделью, артикулами, ценой, ссылками на фото и документы, а также типизированными характеристиками. В отличие от общих LLM, адаптер жёстко заточен под извлечение данных по готовой JSON-схеме и умеет распознавать битые или пустые страницы (возвращая статус not_found, blocked или no_product). Пригодится разработчикам парсеров, систем закупок и агрегаторов цен.
Ключевые особенности
- Извлекает название, бренд, модель, коды товара, цену с валютой, полные URL картинок и документов.
- Типизирует характеристики: поддерживает одиночные значения с единицами измерения, диапазоны (
min/max) и списки вариантов. - В комплекте с весами идут
rules.md(системные правила) иschema.jsonдля генерации со структурными ограничениями (например, черезllguidance). - Обрабатывает страницы длиной до 25 000 токенов и генерирует до 8 192 новых токенов ответа.
Что можно сделать
- Встроить в пайплайн обработки счетов и накладных для сверки позиций с реальными страницами товаров у поставщиков.
- Использовать в локальном парсере каталогов вместо тяжёлых облачных LLM: связка LFM3-1.7B + LoRA весит немного и быстро работает на одной видеокарте.
- Подключить к
llguidanceили аналогичному движку structured output, чтобы гарантировать 100% валидный JSON без постобработки.
Пример
base = "LiquidAI/LFM3-1.7B"
tokenizer = AutoTokenizer.from_pretrained(base, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(base, dtype=torch.bfloat16, device_map="cuda")
model = PeftModel.from_pretrained(model, "jxxxll/lfm3-1.7b-product-page-extraction").merge_and_unload().eval()
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output = model.generate(**inputs, do_sample=False, max_new_tokens=8192)
answer = json.loads(tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
Подробнее
Параметры LoRA: rank 16, alpha 32, dropout 0.05 (слои attention и feed-forward).Обучение: 1 эпоха (2 268 шагов) на 18 399 страницах интернет-магазинов (преимущественно Австралия и Новая Зеландия), validation loss — 0.1415.
Ограничения: входной HTML обрезается на 25 000 токенов; при нескольких ценах или валютах извлекается только один вариант; бенчмарки не опубликованы.
Лицензия: LFM Open License v1.0.










Comments