К содержимому

Датасет · Helsinki-NLP

Переведённый корпус образовательных текстов FineWeb-Edu

Helsinki-NLP/fineweb-edu-translated

Более 36,7 млн документов FineWeb-Edu, автоматически переведённых на 36 языков для обучения многоязычных LLM и систем перевода.

Что внутри

Внутри лежат образовательные веб-тексты из корпуса FineWeb-Edu, переведённые моделями OPUS-MT и HPLT-MT. Версия v1.0 содержит 36 704 000 документов (свыше 28 млрд английских токенов и более 960 млрд токенов суммарно) на 36 языках, включая боснийский, болгарский, каталанский, чешский, датский и немецкий. Документы выровнены между всеми языками.

Что можно сделать

  • Предварительное обучение (pre-training) многоязычных языковых моделей
  • Обучение и тестирование систем машинного перевода
  • Кросс-языковое выравнивание представлений текста
Задачи
Перевод, Генерация текста
Языки
bos, bul, cat, ces, dan, deu, ell, eng и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
177,2 тыс.
Лайков
28

Как загрузить

from datasets import load_dataset

ds = load_dataset("Helsinki-NLP/fineweb-edu-translated")