Датасет · openlanguagedata
Многоязычный бенчмарк перевода FLORES+
openlanguagedata/flores_plus
Параллельные тексты для оценки машинного перевода на многих языках, включая редкие.
Что внутри
Это бенчмарк для многоязычного машинного перевода: тексты на множестве языков, включая редкие, в табличном и текстовом формате. Изначально выпущен исследователями FAIR (Meta) как FLORES, теперь управляется OLDI; лицензия CC BY-SA 4.0. Размер — от 100 тыс. до 1 млн примеров.
Что можно сделать
- Оценивать многоязычные модели перевода
- Проверять качество на редких языках
- Сравнивать MT-системы на едином бенчмарке
- Задачи
- Генерация текста, Перевод
- Языки
- ace, acm, acq, aeb, af, ajp, ak, als и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 23,6 тыс.
- Лайков
- 210
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openlanguagedata/flores_plus")