К содержимому

Датасет · saheedniyi

Веб-корпус текстов Нигерии на четырёх языках

saheedniyi/naijaweb

Более 270 тысяч веб-документов (~230 млн токенов) на английском, йоруба, хауса и игбо.

Что внутри

Текстовый корпус в формате parquet, содержащий свыше 270 тысяч документов (около 230 млн токенов GPT-2), собранных с популярных в Нигерии веб-страниц. Материалы представлены на английском, йоруба, хауса и игбо и сопровождаются метаданными о языке, домене, количестве токенов и оценке качества текста. Набор создан по аналогии с FineWeb для передачи нигерийского языкового и культурного контекста.

Что можно сделать

  • Предобучение и языковая адаптация LLM для малоресурсных африканских языков
  • Фильтрация качественных образовательных текстов по встроенной метрике int_score
Задачи
Генерация текста
Языки
Английский, yo, ha, ig
Размер
100K–1M записей
Скачиваний за месяц
70
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("saheedniyi/naijaweb")