Датасет · HuggingFaceFW
FineTranslations-Edu: параллельные тексты на 500+ языках
HuggingFaceFW/finetranslations-edu
Образовательная выборка из огромного корпуса переводов между английским и более чем 500 языками.
Что внутри
Это образовательная версия (Edu) масштабного датасета FineTranslations от HuggingFaceFW, куда вошли только топ-10% лучших данных по оценке специального классификатора. Внутри от 100 миллионов до 1 миллиарда примеров (часть общего корпуса на 1+ триллион токенов), полученных путём перевода веб-текстов из FineWeb2 на английский язык.
Что можно сделать
- Обучение мультиязычных моделей машинного перевода, включая редкие языки
- Предобучение и SFT качественных языковых моделей с фокусом на образовательный контент
- Задачи
- Генерация текста, Перевод
- Языки
- abk, abq, abs, acm, adh, adi, ady, aeb и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 34
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/finetranslations-edu")