Qwen3.5-0.8B lora-v3 with calendar normalization
извлечение фактов и дат из звонков поддержки
2 мин чтенияобновлено
Экспериментальный LoRA-адаптер (небольшая надстройка над базовой моделью) от автора Monyzik на базе компактной языковой модели Qwen/Qwen3.5-0.8B. Решает задачу извлечения структурированных фактов из русскоязычных диалогов службы поддержки и привязывает относительные даты к времени начала звонка с помощью встроенной постобработки. В отличие от обычного извлечения текста, алгоритм календарной нормализации исправляет временные интервалы без изменения весов самой нейросети. Подойдёт разработчикам для анализа расшифровок колл-центров и исследований в области извлечения информации.
Ключевые особенности
- Обучена на одну эпоху (
lora-v3 epoch-1) специально под русскоязычные звонки поддержки. - Включает исходный код календарной постобработки, который повышает точность определения временных интервалов (Temporal recall вырастает с 35.48% до 38.43%).
- Репозиторий содержит только веса адаптера, токенизатор и скрипты запуска — базовую модель нужно скачать отдельно.
- При инференсе формирует подробный аудит работы: сырые факты, нормализованные предсказания и лог трассировки.
Что можно сделать
- Встроить в пайплайн обработки транскрибаций звонков техподдержки, чтобы автоматически вытаскивать ключевые факты и даты событий.
- Использовать связку адаптера и скрипта нормализации для автоматической разметки диалогов и перевода относительных дат в точные интервалы.
- Взять за отправную точку для экспериментов с компактными моделями (0.8B) в задачах structured extraction на русском языке.
Пример
from huggingface_hub import snapshot_download
snapshot_download("Monyzik/qwen35-lora-v3-calendar", local_dir="qwen35-calendar")
snapshot_download(
"Qwen/Qwen3.5-0.8B",
revision="2fc06364715b967f1860aea9cf38778875588b17",
local_dir="qwen35-base",
)
Подробнее
Метрики (383 звонка): Fact F1 — 52.73%, Temporal recall — 38.43% (после нормализации), Grounding span — 81.96%.Инференс тестировался в BF16 с батчем 8 и лимитом
max-new-tokens 4096.Ограничения: экспериментальный чекпоинт, уступает бейзлайну по temporal и state accuracy (47.06% и 53.45%) и может выдавать невалидные интервалы.










Комментарии