К содержимому

Датасет · gsarti

Бенчмарк машинного перевода на 101 язык

gsarti/flores_101

Профессионально переведённые предложения из Википедии на 101 языке для оценки качества многоязычного перевода.

Что внутри

Внутри лежат 3001 предложение из англоязычной Википедии на разные темы, выровненные между всеми языками. Тексты переведены на 101 язык (включая редкие и малоресурсные) профессиональными переводчиками под строгим контролем. В метаданных указан общий объём от 100 тысяч до 1 миллиона записей в текстовом и табличном виде.

Что можно сделать

  • Оценка качества систем машинного перевода, особенно на редких языках
  • Тестирование многоязычных моделей в режиме перевода «многие ко многим»
Задачи
Генерация текста, Перевод
Языки
af, am, Арабский, hy, as, ast, az, be и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
2 тыс.
Лайков
35

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("gsarti/flores_101")