femto-jev
решение по тексту и речи на 7,7 млн параметров
2 min readupdated
femto-jev — компактная модель принятия решений от igorktech на базе jhu-clsp/ettin-encoder-17m. Она принимает текст или речь и набор типизированных вопросов, а возвращает вероятности для каждого варианта за один forward pass. Всего 7,7 млн параметров; вместе с femto-asr голосовой пайплайн занимает 10,1 млн.
Ключевые особенности
- Три типа вопросов:
choice,scoreиnoul; вопросы задаются текстом при вызове. - Понимает текст и речь: аудио проходит через femto-asr, доступны режимы
joint,hypиaudio. - Всего 7,7 млн параметров (30 МБ в fp32), по умолчанию работает на CPU.
- На typed-decisions accuracy 0,732 — выше JEV-9B (0,706), но это in-distribution бенчмарк.
- На SLURP с transcript + frames — 0,714; только transcript — 0,586, только frames — 0,692.
- Только английский; на незнакомых аудиоусловиях качество падает до уровня транскрипта.
Пример
from huggingface_hub import snapshot_download
import sys
sys.path.insert(0, snapshot_download('igorktech/femto-jev'))
from femto_jev import FemtoJev
jev = FemtoJev('igorktech/femto-jev')
q = {'angry': {'type': 'noul', 'instructions': 'Is the customer angry?'}}
print(jev(q, text='I was charged twice.')['answers']['angry'])
Подробнее
На typed-decisions accuracy 0,732 у femto-jev против 0,706 у JEV-9B; бенчмарк in-distribution.На SLURP: 0,714 с transcript + frames, 0,586 только transcript и 0,692 только frames.
Обучение: 1,38 млн примеров, 4 эпохи, одна L40S, 1 ч 19 мин.
Ограничения: только английский; на новых аудиоусловиях помогает в основном транскрипт; модель ненадёжно отвечает «none of these».










Comments