Датасет · HuggingFaceFW
Параллельные тексты на 500+ языках
HuggingFaceFW/finetranslations
Более 1 трлн токенов параллельных текстов на английском и 500+ языках для машинного перевода.
Что внутри
Параллельные тексты на английском и 500+ языках, более 1 трлн токенов. Получены переводом данных FineWeb2 на английский с помощью Gemma3 27B. Синтетический пайплайн развёрнут через datatrove с управлением inference на VLLM.
Что можно сделать
- Обучение моделей машинного перевода
- Дообучение мультиязычной модели для редких языков
- Оценка перевода на 500+ языках
- Задачи
- Генерация текста, Перевод
- Языки
- abk, abq, abs, acm, adh, adi, ady, aeb и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 15,6 тыс.
- Лайков
- 310
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceFW/finetranslations")