Датасет · Helsinki-NLP
Англоцентричный корпус OPUS-100
Helsinki-NLP/opus-100
Параллельные тексты на 100 языках, где одной стороной пары всегда выступает английский.
Что внутри
OPUS-100 — англоцентричный многоязычный корпус параллельных текстов. Он покрывает 100 языков, включая английский, и все пары содержат английский как исходный или целевой язык. Языки отбирали по объёму параллельных данных в OPUS. Размер — от 10 до 100 млн примеров.
Что можно сделать
- Обучение моделей машинного перевода с английского и на английский
- Дообучение мультиязычной translation-модели
- Оценка перевода для 100 языков
- Задачи
- Перевод
- Языки
- af, am, an, Арабский, as, az, be, bg и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 28,2 тыс.
- Лайков
- 260
Модели, обученные на нём
- deepvk/USER-baseПохожесть текстов 29,7 тыс.
- mradermacher/Llama-3-Instruct-Neurona-8b-v2-i1-GGUF 3,1 тыс.
- mradermacher/Llama-3-Neurona-8b-GGUF 994
- mradermacher/Slava-Qwen3-14B-Serbian-i1-GGUF 966
- mradermacher/Llama-3-Instruct-Neurona-8b-GGUF 955
- mradermacher/X-ALMA-13B-Pretrain-i1-GGUF 737
- mradermacher/Llama-3-Instruct-Neurona-8b-v2-GGUF 702
- mradermacher/X-ALMA-13B-Group5-GGUF 673
Как загрузить
from datasets import load_dataset
ds = load_dataset("Helsinki-NLP/opus-100")