Датасет · saheedniyi
Веб-корпус текстов Нигерии на четырёх языках
saheedniyi/naijaweb
Более 270 тысяч веб-документов (~230 млн токенов) на английском, йоруба, хауса и игбо.
Что внутри
Текстовый корпус в формате parquet, содержащий свыше 270 тысяч документов (около 230 млн токенов GPT-2), собранных с популярных в Нигерии веб-страниц. Материалы представлены на английском, йоруба, хауса и игбо и сопровождаются метаданными о языке, домене, количестве токенов и оценке качества текста. Набор создан по аналогии с FineWeb для передачи нигерийского языкового и культурного контекста.
Что можно сделать
- Предобучение и языковая адаптация LLM для малоресурсных африканских языков
- Фильтрация качественных образовательных текстов по встроенной метрике int_score
- Задачи
- Генерация текста
- Языки
- Английский, yo, ha, ig
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 70
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("saheedniyi/naijaweb")