PartnerCopilot ABSA QLoRA
аспектный анализ отзывов на португальском
2 min readupdated
PartnerCopilot ABSA QLoRA — LoRA-адаптер (чекпойнт 253) на базе Qwen2.5-1.5B-Instruct под Apache 2.0. Он извлекает шесть аспектов из отзыва на португальском и присваивает каждому положительную или отрицательную полярность, возвращая один JSON-объект с ключом aspects. Обучение шло на 1 263 синтетических отзывах о доставке еды, без данных iFood; это исследовательский артефакт.
Ключевые особенности
- Извлекает шесть аспектов и полярность каждого в одном JSON с ключом
aspects. - Обучен на 1 263 синтетических отзывах и 140 валидационных; данные iFood не использовались.
- QLoRA с NF4 на Tesla T4; в стеке PEFT, TRL, bitsandbytes, Transformers и PyTorch.
- На синтетическом gold macro-F1 0,9819 на 100 отзывах; на шаблонах — 0,9948; валидация дала 140/140 валидных JSON.
- На реальном B2W-Reviews01 — 172/200 валидных JSON; на 30 ручных аннотациях 9/30 точных наборов, найдено 9 из 12 пар, добавлено 20 лишних.
- Исследовательский артефакт: перенос специфичен для малого среза B2W, а формат и ложные срабатывания на пустых отзывах превысили лимиты протокола.
Пример
Сценарий из карточки — анализ синтетических отзывов о доставке еды. На вход подаётся отзыв на португальском, на выходе — один JSON-объект с ключом aspects: для каждого упомянутого аспекта указана положительная или отрицательная полярность. Внешняя проверка проводилась на B2W-Reviews01.
Подробнее
Синтетический gold: macro-F1 0,9819 (100 отзывов); шаблоны — 0,9948; 140/140 валидных JSON на валидации.B2W-Reviews01: 172/200 валидных JSON; на 30 размеченных вручную — 9/30 точных наборов, 9 из 12 пар, 20 лишних.
Обучение: QLoRA/NF4 на Tesla T4, 1 263 синтетических отзыва, без данных iFood.
Ограничение: исследовательский артефакт; перенос специфичен для малого среза B2W, формат и ложные срабатывания на пустых отзывах превысили лимиты протокола.










Comments