ZurichNLP/sensidiff-xlm-r-base
поиск расхождений в паре текстов по токенам
2 min read
Энкодер-модель от группы ZurichNLP, которая оценивает степень различия для каждого отдельного токена в паре текстов — даже если они написаны на разных языках. В основе лежит мультиязычная архитектура XLM-RoBERTa (FacebookAI/xlm-roberta-base) размером 0.28B параметров. В отличие от классических моделей, выдающих одну общую оценку схожести на весь абзац, sensidiff-xlm-r-base подсвечивает конкретные слова, в которых смысл расходится (например, замену города или действия). Пригодится разработчикам систем проверки переводов, поиска фактических несоответствий и инструментов редактирования.
Ключевые особенности
- Потокеновая оценка: модель возвращает числовой скор различия для каждого токена второго текста в паре.
- Кросс-языковая работа: благодаря базе XLM-RoBERTa и обучению на датасете
sensidiff-wikimatrix(размеченном с помощью GPT 5.6 Terra) сравнивает фразы на разных языках. - Компактный размер: всего 0.28B параметров, легко запускается через стандартную библиотеку
transformersбез тяжёлого железа.
Что можно сделать
- Встроить в пайплайн контроля качества машинного перевода для подсветки слов, искажающих смысл оригинала.
- Использовать для сверки фактов в параллельных новостных или справочных текстах (например, чтобы быстро находить расхождения в именах, датах и локациях).
Пример
from transformers import AutoTokenizer, AutoModelForTokenClassification
model_id = "ZurichNLP/sensidiff-xlm-r-base"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)
inputs = tokenizer("He now works in London.", "Er lebt jetzt in Berlin.", return_tensors="pt")
scores = model(**inputs).logits[0, :, 0].sigmoid().tolist()Подробнее
Ограничение: модель обучена размечать только второй текст в паре (sequence_id == 1).Чтобы получить оценки различий для первого текста, нужен второй прогон с поменянными местами текстами.
Обучена на парах Wikimatrix с разметкой от GPT 5.6 Terra.










Comments