MIntRec-20 Omni

Специализированная мультимодальная модель на базе Qwen2.5-Omni-3B для закрытого набора из 20 классов интентов. Автор применил pruning FFN-каналов по активациям и двухэтапное distillation-восстановление; LoRA-адаптеры языковой модели и энкодеров уже влиты в веса. Итоговый runtime — около 3,23 млрд параметров в BF16.

👁 Ключевые особенности

• 👁 На входе аудио, видео и готовый текст реплики.
• ✅ 20 классов: от Complain и Praise до Greet и Ask for help.
• 📉 FFN сокращён с 11 008 до 4 352 каналов, все 36 слоёв декодера сохранены.
• 💯 Точность на официальном тесте — 78,65%, 1-е место из 19 в выбранной группе сравнения.
• 🧘 Оценка только для закрытого набора; другие метки и пропущенные модальности требуют отдельной проверки.

😎 Пример

import torch
from transformers import Qwen2_5OmniProcessor, Qwen2_5OmniThinkerForConditionalGeneration

repo_id = "dongminkim17/smarthome-omni-mintrec20"
processor = Qwen2_5OmniProcessor.from_pretrained(repo_id)
model = Qwen2_5OmniThinkerForConditionalGeneration.from_pretrained(
    repo_id, torch_dtype=torch.bfloat16,
    attn_implementation="sdpa", device_map={"": 0}
).eval()

Подробнее

Официальный тест: 445 примеров, accuracy 78,65%.
Параметры: LM 1,92B, аудиоэнкодер 637,7M, визуальный энкодер 668,7M.
Обучение: SFT и class-KD, финальные LoRA rank 64 / alpha 128.
Лицензия Qwen Research — некоммерческое использование.