Ettinnet-v1-32m-preview
компактный энкодер для понимания интернет-сленга
2 мин чтенияобновлено
Модель решает задачу fill-mask (заполнение пропущенных слов в тексте) и помогает алгоритмам лучше понимать неформальное общение в сети. Разработчик RyanStudio взял за основу компактный энкодер jhu-clsp/ettin-encoder-32m (32 млн параметров) и дообучил его на 42 миллионах сообщений из Discord. В результате 32-миллионная модель обошла базовую 400-миллионную версию ettin-encoder-400m по точности угадывания токенов в чатах. Она пригодится разработчикам, которым нужны сверхлёгкие и быстрые текстовые эмбеддинги или классификаторы для анализа переписок и соцсетей.
Ключевые особенности
- Сверхлёгкий вес: всего около 30 млн параметров (0.03B), что позволяет запускать модель практически на любом железе.
- Фокус на живую речь: обучение на 42 млн сообщений из датасета
ManBib/DUE-filtered-deduped(переписки из Discord). - Защита от забывания: в выборку добавили ~750 тысяч текстов из FineWeb, FineWeb-Edu и Wikipedia, чтобы модель не потеряла знания обычного языка.
- Победа над крупной базой: на коротких и средних сообщениях (до 20 слов) модель опережает
ettin-encoder-400mпо метрике Top-1.
Что можно сделать
- Анализ и модерация чатов: использовать как лёгкий бэкенд для фильтрации, поиска или классификации сообщений в Discord и комментариях.
- Дообучение под узкие задачи: взять за основу для файнтюна под сентимент-анализ (определение тональности) неформальных отзывов или постов.
- Эксперименты с сленгом: тестировать восстановление пропущенных слов и сокращений в коротких англоязычных репликах.
Пример
Модель работает в режиме fill-mask: ей передают короткое сообщение из чата со скрытым токеном (например, [MASK]), а на выходе она возвращает список наиболее вероятных слов и сленговых выражений с оценкой вероятности для каждого варианта.
Подробнее
Бенчмарки (100 тыс. сообщений Discord, 182 тыс. токенов): Top-1 — 37.79% (против 34.57% у ettin-encoder-400m), Top-5 — 58.28%, Perplexity — 34.83.Ограничения: экспериментальная preview-версия, не предназначена для продакшена.
Хуже справляется с длинным контекстом (от 21 слова и выше уступает 400M-модели) и может хуже решать задачи по коду и математике.
В релизе также доступна ещё более компактная версия на 17M параметров (
ettinnet-v1-17m-preview).









Комментарии