Датасет · facebook
Бенчмарк машинного перевода FLORES-200
facebook/flores
Параллельные тексты для оценки перевода с английского на множество языков, включая низкоресурсные.
Что внутри
FLORES — бенчмарк для машинного перевода между английским и низкоресурсными языками. Версия FLORES-200 удваивает языковое покрытие FLORES-101; в метаданных перечислены языки ace, acm, acq, aeb, af, ajp и другие. Объём — от 1 млн до 10 млн записей, формат — tabular/text. Репозиторий больше не обновляется, новая версия — openlanguagedata/flores_plus.
Что можно сделать
- Оценка качества MT на низкоресурсных языках
- Тестирование многоязычных LLM
- Сравнение моделей перевода на стандартном бенчмарке
- Задачи
- Генерация текста, Перевод
- Языки
- ace, acm, acq, aeb, af, ajp, ak, als и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 5 тыс.
- Лайков
- 133
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/flores")