Датасет · Helsinki-NLP
Переведённый корпус образовательных текстов FineWeb-Edu
Helsinki-NLP/fineweb-edu-translated
Более 36,7 млн документов FineWeb-Edu, автоматически переведённых на 36 языков для обучения многоязычных LLM и систем перевода.
Что внутри
Внутри лежат образовательные веб-тексты из корпуса FineWeb-Edu, переведённые моделями OPUS-MT и HPLT-MT. Версия v1.0 содержит 36 704 000 документов (свыше 28 млрд английских токенов и более 960 млрд токенов суммарно) на 36 языках, включая боснийский, болгарский, каталанский, чешский, датский и немецкий. Документы выровнены между всеми языками.
Что можно сделать
- Предварительное обучение (pre-training) многоязычных языковых моделей
- Обучение и тестирование систем машинного перевода
- Кросс-языковое выравнивание представлений текста
- Задачи
- Перевод, Генерация текста
- Языки
- bos, bul, cat, ces, dan, deu, ell, eng и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 177,2 тыс.
- Лайков
- 28
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/fineweb-edu-translated")