graphemetech/understanding-v2
локальный классификатор эмоций и ситуаций на базе EmbeddingGemma
2 мин чтенияобновлено
Модель превращает короткие пользовательские заметки в числовые векторы (эмбеддинги) и сопоставляет их с заданным набором чувств и жизненных ситуаций. Разработана командой graphemetech для приложения Uns на базе google/embeddinggemma-300m и упакована в формат LiteRT (бывший TensorFlow Lite) для работы прямо на мобильных устройствах без отправки текста на сервер. В отличие от базового чекпоинта, модель дообучена на таксономии эмоций на 8 языках (английский, индонезийский, малайский, турецкий, бенгальский, арабский, урду и персидский) и объединена с оригинальными весами в пропорции 50/50. Пригодится мобильным разработчикам, которым нужен компактный офлайн-анализ тональности и контекста.
Ключевые особенности
- Полный пайплайн в одном графе: энкодер, mean pooling, полносвязные слои и L2-нормализация объединены в единый файл
model.tfliteс динамическим int8-квантованием. - Высокая точность конвертации: косинусное сходство выходов с оригинальной PyTorch-моделью составляет не менее 0.998, а бинарный токенизатор
tokenizer.binпосимвольно совпадает с базовым на 36 081 тестовом тексте. - Усреднение весов (WiSE-FT): смешивание дообученного и исходного чекпоинтов 50/50 позволило сохранить общую и религиозную лексику базы при росте качества классификации.
- Готовые центроиды: в репозиторий включён файл
centroids.jsonс опорными векторами для каждого чувства и ситуации, а также порогом отказа от ответа.
Что можно сделать
- Встроить в мобильный дневник настроения или трекер ментального состояния для полностью приватной категоризации записей на устройстве.
- Использовать в мультиязычных системах рекомендаций контента, подбирающих цитаты, статьи или советы под текущую жизненную ситуацию пользователя.
- Применить как готовый пример конвертации
embeddinggemma-300mв LiteRT с обходом ошибок трансляции attention-слоёв.
Пример
Модель не генерирует текст, а выдаёт L2-нормализованный вектор размерности [1, 768]. Перед токенизацией к любой входной фразе добавляется обязательный префикс: task: classification | query: (далее длина последовательности фиксируется на 128 токенах, а полученный вектор сравнивается с центроидами из centroids.json).
Подробнее
Метрики на отложенной выборке: feelings top-1 — 79 / 73 / 94 (против 71 / 54 / 60 у базовойembeddinggemma-300m), situations top-1 — 79 / 81 / 88, поиск релевантных тем (hit@3) — 58.5%.Формат и входы:
model.tflite (int8), принимает input_ids и attention_mask формата int32 [1, 128].Обучение: 4 эпохи, batch semi-hard triplet loss (margin 0.5, lr 2e-5) на ~4 000 размеченных фразах на 8 языках.
Ограничения: работает только с закрытым списком категорий и распространяется по лицензии Gemma Terms of Use.










Комментарии