Датасет · AuthenticIlm
Полный корпус классической исламской библиотеки Shamela 4
AuthenticIlm/Shamela4_Full_DB
Оцифрованная коллекция из 8 589 книг на арабском языке по 40 категориям классических исламских наук.
Что внутри
Датасет представляет собой полную выгрузку из базы данных al-Maktaba al-Shamela v4, выполненную в апреле 2026 года. Внутри содержится 8 589 книг (около 7,6 млн страниц или 19 ГБ текста) на арабском языке, охватывающих 40 тематических категорий. Метаданные организованы в форматах Parquet и JSONL.
Что можно сделать
- Предобучение и дообучение языковых моделей на классическом арабском языке
- Построение систем поиска (text-retrieval) и вопрос-ответных систем по исламским текстам
- Обучение моделей для заполнения пропусков (fill-mask) и классификации токенов
- Задачи
- Генерация текста, Заполнение пропусков, Разметка токенов, Вопрос-ответ, Поиск по текстам
- Языки
- Арабский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 24,3 тыс.
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("AuthenticIlm/Shamela4_Full_DB")