m2v-mrl-multilingual-european-256
сверхлёгкие эмбеддинги для европейских языков
2 min readupdated
Модель преобразует слова и фразы в компактные числовые векторы (эмбеддинги) для оценки их семантической близости. Это облегчённая версия модели sentence-transformers/static-similarity-mrl-multilingual-v1 от автора javierlgroba, упакованная в формат model2vec. Из исходной модели оставили только первые 256 измерений (благодаря обучению с функцией потерь Matryoshka они сохраняют работоспособность без остальных) и очистили словарь от неевропейских письменностей, сохранив латиницу, кириллицу, греческий, армянский и грузинский алфавиты. В результате вес модели сократился с ~434 МБ до ~76 МБ без потери точности токенизации для поддерживаемых языков. Пригодится разработчикам для быстрого поиска, кластеризации текста и RAG-систем (поиска контекста для языковых моделей) в условиях жёстких ограничений по памяти.
Ключевые особенности
- Компактный размер: веса занимают всего ~76 МБ (против ~434 МБ у оригинала) при размерности векторов 256.
- Оптимизированный словарь: объём сокращён со 105 879 до 73 845 токенов за счёт удаления иероглифов, арабской вязи, деванагари и других азиатских и ближневосточных письменностей.
- Сохранение совместимости: текст на кириллице, латинице и других европейских письменностях токенизируется так же, как в базовой модели, выдавая идентичные усечённые векторы.
- Формат model2vec: статические эмбеддинги работают без тяжёлых трансформерных вычислений, позволяя получать векторы простым усреднением строк токенов.
Что можно сделать
- Локальный и edge-поиск: встроить в мобильные приложения, браузерные расширения или микросервисы, где нет GPU и важен минимальный расход оперативной памяти.
- Мультиязычное сопоставление терминов: использовать для быстрого поиска переводов и синонимов между европейскими языками (например, сопоставления названий товаров на немецком, английском, французском и русском).
- Первичная фильтрация в RAG: применять как сверхбыстрый ретривер для предварительного отбора документов перед передачей в более тяжёлые нейросети.
Пример
from model2vec import StaticModel
model = StaticModel.from_pretrained("javierlgroba/m2v-mrl-multilingual-european-256")
embeddings = model.encode(["Duschgel", "shower gel", "gel douche"])Подробнее
Базовая модель: sentence-transformers/static-similarity-mrl-multilingual-v1 (лицензия Apache-2.0)Архитектура и формат: статические эмбеддинги model2vec, один тензор float32 размером 73 845 × 256 (~76 МБ)
Токенизатор: BERT WordPiece с приведением к нижнему регистру и удалением диакритических знаков
Ограничения: слова на удалённых письменностях (CJK, арабский, хинди, иврит и др.) заменяются на токен [UNK]










Comments