Датасет · community-datasets
Многоязычный корпус перефразировок TaPaCo на 73 языках
community-datasets/tapaco
От 1 до 10 млн предложений с одинаковым смыслом из базы Tatoeba для 73 языков.
Что внутри
Свободный корпус парафразов, извлеченный из краудсорсинговой базы примеров и переводов Tatoeba. Данные построены на основе графа связей между предложениями, которые выражают одну и ту же мысль на 73 языках (включая белорусский, арабский, болгарский и другие). Объем датасета составляет от 1 до 10 миллионов текстовых записей.
Что можно сделать
- Обучение моделей перефразирования текста и генерации синонимов
- Тренировка многоязычных эмбеддингов для поиска семантических дубликатов
- Аугментация текстовых данных для редких и малоресурсных языков
- Задачи
- Перевод, Классификация текста
- Языки
- af, Арабский, az, be, ber, bg, bn, br и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1 тыс.
- Лайков
- 48
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("community-datasets/tapaco")