Qwen2.5-0.5B Fashion Attribute Extractor

LoRA-адаптер от minhack для Qwen2.5-0.5B-Instruct. Дообучен извлекать из описаний товаров H&M структурированные fashion-атрибуты: категорию, цвет, материал, посадку, узор, длину рукава и вырез. Категория подаётся на вход.

🌟 Ключевые особенности

• 🔥 База — Qwen2.5-0.5B-Instruct, teacher — Qwen2.5-7B-Instruct; response-based distillation.
• ✅ Около 8.8 млн обучаемых LoRA-параметров; 436 обучающих примеров, 49 validation, 3 эпохи.
• 😺 На выходе JSON из семи ключей; каждое значение — string или null.
• 📉 На 20 новых описаниях: 119/140 совпадений (85.00%) против 11/140 (7.86%) у базовой модели; strict JSON — 20/20 против 0/20.
• 👁 Заявлена для research/experimentation; в продакшене рекомендуется человеческая проверка.

👁 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "Qwen/Qwen2.5-0.5B-Instruct"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base)
model = PeftModel.from_pretrained(model, "minhack/qwen2.5-0.5b-fashion-attribute-extractor")

Подробнее

Бенчмарки: schema validity — 20/20 против 7/20; средняя latency на Colab Tesla T4 — 3.49 с против 2.58 с.
Ограничения: всего 20 тестовых примеров, разметка не проходила независимую проверку, категория подаётся на вход.
Exact match штрафует синонимы; material иногда извлекается неполно, часть pattern и neckline может теряться.
Кросс-датасетная и мультиязычная генерализация не тестировались; полный system prompt нужно брать отдельно.