LexSPLADE
разреженный эмбеддинг слова в контексте
1 min readupdated
Модель от jadermcs на базе FacebookAI/roberta-large (0,36 млрд параметров) кодирует не предложение, а отдельное слово в контексте. На вход подаётся английское предложение с выделенным целевым словом, на выходе — разреженный вектор по словарю RoBERTa из 50 267 токенов. Размерности соответствуют словам, поэтому вектор можно читать как список слов.
Ключевые особенности
- Возвращает эмбеддинг целевого слова, а не предложения; вектор разреженный и интерпретируемый.
- Целевое слово нужно обернуть в
<t>…</t>без пробелов внутри — иначе byte-level BPE разобьёт текст иначе. - Нужен
trust_remote_code=True: в репозитории лежит кастомный target-span пулинг с MLM-головой. - Обучение на WiC: silver-пары, MCL-WiC train (31 914) и WiC train (5 906), плюс auxiliary sense bags по WordNet.
- При пулинге маскируются спецтокены, стоп-слова и токены без букв или цифр.
- Только английский; есть варианты на BERT-large и XLM-R-large.
Пример
from sentence_transformers import SparseEncoder
model = SparseEncoder('jadermcs/lexsplade-roberta-large-silver-wic-wnbags', trust_remote_code=True)
sents = ['He sat on the <t>bank</t> of the river.', 'She withdrew money from her <t>bank</t>.']
v = model.encode(sents, convert_to_tensor=True).to_dense().float()
print([model.tokenizer.convert_ids_to_tokens(int(i)) for i in v[0].topk(8).indices])Подробнее
MCL-WiC test: accuracy 91,60, AP 97,47; dev — 92,00 и 96,05.В среднем 226 ненулевых измерений из 50 267 на одно употребление.
Ограничение: модель обучалась на примерах WordNet — не проверяйте таксономию на этих же предложениях.
Язык — английский; размер — 0,36 млрд параметров.










Comments