К содержимому

Датасет · MohamedRashad

Корпус текстов арабских книг

MohamedRashad/arabic-books

Набор из 8,500 полных текстов арабских книг общим объемом 1,1 миллиарда токенов для языковых моделей.

Что внутри

Датасет содержит 8,500 строк с текстами арабских книг, извлеченными с помощью модели arabic-large-nougat. Общий объем составляет 1,1 миллиарда токенов (по токенизатору GPT-4). Данные демонстрируют возможности арабского OCR и качество извлечения текста.

Что можно сделать

  • Обучение и дообучение языковых моделей на арабском языке
  • Оценка качества систем OCR и извлечения текста
Задачи
Генерация текста
Языки
Арабский
Размер
1K–10K записей
Скачиваний за месяц
24,1 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("MohamedRashad/arabic-books")