К содержимому

Датасет · community-datasets

Многоязычный корпус перефразировок TaPaCo на 73 языках

community-datasets/tapaco

От 1 до 10 млн предложений с одинаковым смыслом из базы Tatoeba для 73 языков.

Что внутри

Свободный корпус парафразов, извлеченный из краудсорсинговой базы примеров и переводов Tatoeba. Данные построены на основе графа связей между предложениями, которые выражают одну и ту же мысль на 73 языках (включая белорусский, арабский, болгарский и другие). Объем датасета составляет от 1 до 10 миллионов текстовых записей.

Что можно сделать

  • Обучение моделей перефразирования текста и генерации синонимов
  • Тренировка многоязычных эмбеддингов для поиска семантических дубликатов
  • Аугментация текстовых данных для редких и малоресурсных языков
Задачи
Перевод, Классификация текста
Языки
af, Арабский, az, be, ber, bg, bn, br и ещё 4
Размер
1M–10M записей
Скачиваний за месяц
1 тыс.
Лайков
48

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("community-datasets/tapaco")