Датасет · uonlp
Многоязычный корпус на 167 языках
uonlp/CulturaX
Очищенный многоязычный корпус на 167 языках объёмом 6,3 трлн токенов для обучения LLM.
Что внутри
CulturaX — публичный многоязычный текстовый корпус для разработки больших языковых моделей. Он содержит 6,3 трлн токенов на 167 языках и прошёл многоступенчатую очистку и дедупликацию. Языки включают af, als, am, an, ar, arz и другие.
Что можно сделать
- Предобучение многоязычной LLM
- Дообучение на редких языках
- Оценка качества языковых моделей
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, als, am, an, Арабский, arz, as, ast и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 26,1 тыс.
- Лайков
- 711
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("uonlp/CulturaX")