К содержимому

Датасет · mteb

Бенчмарк семантической близости текстов SemEval STS 2013

mteb/sts13-sts

Англоязычные пары текстов из веба и новостей для оценки моделей эмбеддингов в MTEB.

Что внутри

Классический датасет SemEval STS 2013, адаптированный для бенчмарка Massive Text Embedding Benchmark (MTEB). Содержит от 1 до 10 тысяч текстовых примеров на английском языке из новостных, веб- и научно-популярных источников для оценки семантического сходства (sentence-similarity). Поддерживает запуск оценки напрямую через пакет mteb.

Что можно сделать

  • Проверить качество универсальных текстовых эмбеддингов на задаче определения смысловой близости
  • Включить в пайплайн валидации при обучении или квантовании энкодерных языковых моделей
Задачи
Похожесть текстов
Языки
eng
Размер
1K–10K записей
Скачиваний за месяц
20,7 тыс.
Лайков
2

Как загрузить

from datasets import load_dataset

ds = load_dataset("mteb/sts13-sts")