homi

homi — открытая decision-модель для аудио от egma-ai: отвечает на типизированные вопросы о клипе и выдаёт вероятность по каждому варианту, а не свободный текст. Построена на Qwen3-Omni-30B-A3B-Instruct с замороженными весами; добавлены decision head, 17M параметров LoRA и температура калибровки. Рассчитана на мониторинг и оценку больших объёмов аудио при низкой стоимости.

🔥 Ключевые особенности

• 🎙 На вход — аудиоклип и вопрос; на выходе — вероятность для каждого варианта ответа.
• ⚙ Три типа вопросов: noul (P(yes)), choice (2–255 вариантов) и score (2–10 уровней плюс ожидаемый уровень).
• 🔥 База Qwen3-Omni-30B-A3B-Instruct заморожена; обучались LoRA, decision head и температура калибровки.
• 💵 На VocalGrad стоимость $0.12 за 10k вопросов против $12.10 у Gemini 3.8 Flash.
• ⚡ Все вопросы по клипу считаются одним батчевым forward pass: около 75 мс на три вопроса для короткого клипа на H200.
• ⚠ Слабые места: подсчёт говорящих (19% на MMSU), длинные диалоги, рифмы и паузы; детекция real-vs-synthetic ненадёжна.

💻 Пример

from predict import AudioDecider
decider = AudioDecider('homi')
decider.ask('clip.wav', {
  'emotion': {'type': 'choice', 'instructions': 'Which emotion?', 'criteria': {'anger': None, 'happy': None, 'neutral': None, 'sad': None}},
  'pace': {'type': 'score', 'instructions': 'How fast?', 'criteria': ['slow', 'normal pace', 'fast']},
})

Подробнее

VocalGrad: 73.9 против 63.0 у Gemini 3.8 Flash; MMSU: 83.1 против 85.7.
Нужна одна GPU с ~70 GB свободной памяти в bf16; тестировалось с Python 3.12, torch 2.14.1, transformers 5.18.0, peft 0.21.2.
Ограничения: слабый подсчёт говорящих (19% на MMSU), длинные диалоги, рифмы и паузы; детекция real-vs-synthetic ненадёжна.
Лицензия Apache-2.0; в репозитории только адаптер, head и код, базовые веса скачиваются отдельно.