К содержимому

Датасет · ClusterlabAi

Арабоязычный корпус на 101 млрд слов

ClusterlabAi/101_billion_arabic_words_dataset

Большой арабоязычный корпус для обучения и дообучения языковых моделей.

Что внутри

Корпус арабских текстов, собранный командой Clusterlab; в карточке заявлен объём 101 млрд слов. Данные поддерживаются: обновления раз в неделю для улучшения качества и покрытия. Готовится более очищенная версия с колонкой UUID для трассируемости; в метаданных размер 10M<n<100M, язык — арабский.

Что можно сделать

  • Обучение арабоязычных LLM
  • Continued pretraining на арабском
  • Оценка языкового покрытия
Задачи
Генерация текста
Языки
Арабский
Размер
10M–100M записей
Скачиваний за месяц
3,1 тыс.
Лайков
73

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ClusterlabAi/101_billion_arabic_words_dataset")