LexSPLADE (XLM-RoBERTa-XL)
контекстный энкодер слов, читаемый как список терминов
2 мин чтенияобновлено
Модель решает задачу представления конкретного слова в заданном контексте (word-in-context). Вы оборачиваете нужное слово в теги ..., а на выходе получаете разреженный вектор (sparse vector — вектор, где почти все значения равны нулю) размерностью 250 004 по словарю XLM-R. Благодаря этому координаты вектора можно напрямую прочитать как список близких по смыслу слов, различая, например, речной берег и банковский счёт. Чекпоинт построен на базе facebook/xlm-roberta-xl (3,48 млрд параметров) от автора jadermcs и дообучен на сбалансированном мультиязычном датасете XL-LEXEME, что дало прирост на 5,9 AP в кросс-языковых парах по сравнению с англоязычной версией. Инструмент пригодится разработчикам поисковых систем, NLP-исследователям и специалистам по разрешению лексической многозначности (WSD).
Ключевые особенности
- Мультиязычность и кросс-языковой поиск: поддерживает более 20 языков, включая русский, английский, китайский, арабский и немецкий, сопоставляя значения слов между языками.
- Интерпретируемость векторов: в среднем активны лишь 219 из 250 004 измерений словаря, поэтому представление слова легко расшифровать в виде списка семантически близких токенов.
- Эффективный пулинг целевого спана: кастомный модуль применяет MLM-голову только к выделенному тегами слову, избегая создания тяжелых тензоров логитов для всей последовательности.
- Двухэтапное обучение: сначала модель обучалась с помощью LoRA (метод эффективного дообучения) на английских парах, а затем прошла второй этап на 15 244 очищенных примерах из XL-LEXEME с вливанием весов адаптера.
Что можно сделать
- Семантический и лексический поиск: строить гибридные поисковые индексы, где важен точный смысл многозначного слова в конкретном предложении, а не усреднённый вектор всего текста.
- Кросс-языковое сопоставление терминов: искать эквиваленты слов и понятий между русским, английским и другими языками с учётом контекста употребления.
- Анализ семантики и кластеризация значений: группировать употребления слов по их смыслам и наглядно проверять, какие ассоциации выделила нейросеть.
Пример
from sentence_transformers import SparseEncoder
import torch
model = SparseEncoder("jadermcs/lexsplade-xlm-roberta-xl-silver-xllexeme", trust_remote_code=True, model_kwargs={"dtype": torch.bfloat16})
sents = ["He sat on the bank of the river.", "She withdrew money from her bank."]
v = model.encode(sents, convert_to_tensor=True).to_dense().float()
print(torch.nn.functional.cosine_similarity(v[0:1], v[1:2], dim=1)) # ~0.06
Подробнее
Бенчмарки (AP): MCL-WiC test (en-en) — 97.63, MCL-WiC test (ru-ru) — 93.58, кросс-языковой en-ru — 93.96, средний результат по 12 языкам на XL-WiC test — 79.32.Требования: 3,48B параметров, в формате bfloat16 занимает около 7 ГБ VRAM.
Ограничения: при запуске обязателен флаг
trust_remote_code=True; выделенное слово должно помещаться в max_seq_length, иначе модель вернёт эмбеддинг всего предложения.









Комментарии