К содержимому

Датасет · AuthenticIlm

Полный корпус классической исламской библиотеки Shamela 4

AuthenticIlm/Shamela4_Full_DB

Оцифрованная коллекция из 8 589 книг на арабском языке по 40 категориям классических исламских наук.

Что внутри

Датасет представляет собой полную выгрузку из базы данных al-Maktaba al-Shamela v4, выполненную в апреле 2026 года. Внутри содержится 8 589 книг (около 7,6 млн страниц или 19 ГБ текста) на арабском языке, охватывающих 40 тематических категорий. Метаданные организованы в форматах Parquet и JSONL.

Что можно сделать

  • Предобучение и дообучение языковых моделей на классическом арабском языке
  • Построение систем поиска (text-retrieval) и вопрос-ответных систем по исламским текстам
  • Обучение моделей для заполнения пропусков (fill-mask) и классификации токенов
Задачи
Генерация текста, Заполнение пропусков, Разметка токенов, Вопрос-ответ, Поиск по текстам
Языки
Арабский
Размер
10M–100M записей
Скачиваний за месяц
24,3 тыс.
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("AuthenticIlm/Shamela4_Full_DB")