К содержимому

Датасет · HuggingFaceFW

FineTranslations-Edu: параллельные тексты на 500+ языках

HuggingFaceFW/finetranslations-edu

Образовательная выборка из огромного корпуса переводов между английским и более чем 500 языками.

Что внутри

Это образовательная версия (Edu) масштабного датасета FineTranslations от HuggingFaceFW, куда вошли только топ-10% лучших данных по оценке специального классификатора. Внутри от 100 миллионов до 1 миллиарда примеров (часть общего корпуса на 1+ триллион токенов), полученных путём перевода веб-текстов из FineWeb2 на английский язык.

Что можно сделать

  • Обучение мультиязычных моделей машинного перевода, включая редкие языки
  • Предобучение и SFT качественных языковых моделей с фокусом на образовательный контент
Задачи
Генерация текста, Перевод
Языки
abk, abq, abs, acm, adh, adi, ady, aeb и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
1,7 тыс.
Лайков
34

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceFW/finetranslations-edu")