Датасет · PhilipMay
Мультиязычный STS Benchmark (STSb Multi MT)
PhilipMay/stsb_multi_mt
STS Benchmark на английском и его переводы на пять языков для обучения sentence-эмбеддингов.
Что внутри
Датасет основан на STS Benchmark — подборке английских наборов для задач Semantic Textual Similarity из SemEval 2012–2017. Включает тексты из подписей к изображениям, новостных заголовков и пользовательских форумов. Переводы на немецкий, испанский, французский, итальянский и нидерландский сделаны через deepl.com; размер — от 10 тыс. до 100 тыс. примеров.
Что можно сделать
- Обучение мультиязычных sentence-трансформеров
- Оценка качества sentence-эмбеддингов на STS
- Кросс-языковая проверка моделей сходства текстов
- Задачи
- Классификация текста
- Языки
- Немецкий, Английский, Испанский, Французский, Итальянский, Нидерландский, Польский, Португальский и ещё 2
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 69
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PhilipMay/stsb_multi_mt")