Датасет · mteb
Бенчмарк семантической близости текстов SemEval STS 2013
mteb/sts13-sts
Англоязычные пары текстов из веба и новостей для оценки моделей эмбеддингов в MTEB.
Что внутри
Классический датасет SemEval STS 2013, адаптированный для бенчмарка Massive Text Embedding Benchmark (MTEB). Содержит от 1 до 10 тысяч текстовых примеров на английском языке из новостных, веб- и научно-популярных источников для оценки семантического сходства (sentence-similarity). Поддерживает запуск оценки напрямую через пакет mteb.
Что можно сделать
- Проверить качество универсальных текстовых эмбеддингов на задаче определения смысловой близости
- Включить в пайплайн валидации при обучении или квантовании энкодерных языковых моделей
- Задачи
- Похожесть текстов
- Языки
- eng
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 20,7 тыс.
- Лайков
- 2
Как загрузить
from datasets import load_dataset
ds = load_dataset("mteb/sts13-sts")