К содержимому

Датасет · mteb

Мультиязычный бенчмарк схожести новостей (STS22.v2)

mteb/sts22-crosslingual-sts

Очищенный набор пар новостных статей на нескольких языках для оценки качества моделей текстовых эмбеддингов.

Что внутри

В датасете собраны пары новостных текстов с оценкой их семантической близости из задачи SemEval 2022 Task 8, входящей в пакет бенчмарков MTEB. Объём составляет от 10 до 100 тысяч записей на арабском, китайском, немецком, английском, французском, итальянском и других языках. Во второй версии из набора удалены пары, в которых одно из предложений было пустым.

Что можно сделать

  • Оценка и сравнение мультиязычных моделей эмбеддингов (bi-encoders)
  • Калибровка порогов семантического поиска и дедупликации новостных лент
Задачи
Похожесть текстов
Языки
ara, cmn, deu, eng, fra, ita, pol, rus и ещё 2
Размер
10K–100K записей
Скачиваний за месяц
21,8 тыс.
Лайков
16

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mteb/sts22-crosslingual-sts")