CQA Qwen3-8B LoRA

QLoRA-адаптер для Qwen/Qwen3-8B от автора useing. Оценивает один критерий QA колл-центра за запрос в диалогах поддержки на RU/KZ/EN и возвращает строгий JSON. Это локальная «tier 1» модель пайплайна CQA; в карточке прямо указано, что это прототип.

🧐 Ключевые особенности

• 🧐 Один критерий на запрос: rubric + transcript на входе, JSON с reasoning, value, justification, evidence, missing_where, na_reason и confidence на выходе.
• 🌚 QLoRA: nf4 4-bit с double quant, bf16; LoRA r=16, α=32, dropout 0.05 на q/k/v/o/gate/up/down.
• 🔜 Данные: 798 train / 82 val строк, split по диалогам; в train RU 307, KZ 307, EN 184.
• ⛔ 0 строк с человеческой разметкой: 128 synthetic gold + 410 строк, дистиллированных из облачного LLM-жюри; датасет не опубликован.
• 🚀 Сервинг через vLLM с LoRA и отключённым thinking; нужен GPU на 24 GB, bf16 base + LoRA до 16k контекста.
• 👀 Ограничение: обучено 0.32 эпохи; agreement на held-out не вырос, MAE улучшился, но дельты в пределах шума.

🚀 Пример

vllm serve Qwen/Qwen3-8B --enable-lora \
  --lora-modules cqa=./cqa-qwen3-8b-lora \
  --max-lora-rank 16 --max-model-len 16384 \
  --default-chat-template-kwargs '{"enable_thinking": false}'

Подробнее

Held-out (10 диалогов): agreement 0.787 → 0.787, MAE 12.17 → 10.43; gross-flag P/R 0.0/0.0.
Tuned gold (в train): agreement 0.789 → 0.805, MAE 14.77 → 8.95.
Обучение: 16 optimizer steps ≈ 0.32 эпохи, 1× RTX A5000 24 GB, 27 мин, ≈ $0.22.
Это не safety/compliance-инструмент — нужен human in the loop.