Датасет · ClusterlabAi
Арабоязычный корпус на 101 млрд слов
ClusterlabAi/101_billion_arabic_words_dataset
Большой арабоязычный корпус для обучения и дообучения языковых моделей.
Что внутри
Корпус арабских текстов, собранный командой Clusterlab; в карточке заявлен объём 101 млрд слов. Данные поддерживаются: обновления раз в неделю для улучшения качества и покрытия. Готовится более очищенная версия с колонкой UUID для трассируемости; в метаданных размер 10M<n<100M, язык — арабский.
Что можно сделать
- Обучение арабоязычных LLM
- Continued pretraining на арабском
- Оценка языкового покрытия
- Задачи
- Генерация текста
- Языки
- Арабский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 73
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("ClusterlabAi/101_billion_arabic_words_dataset")