Датасет · MohamedRashad
Корпус текстов арабских книг
MohamedRashad/arabic-books
Набор из 8,500 полных текстов арабских книг общим объемом 1,1 миллиарда токенов для языковых моделей.
Что внутри
Датасет содержит 8,500 строк с текстами арабских книг, извлеченными с помощью модели arabic-large-nougat. Общий объем составляет 1,1 миллиарда токенов (по токенизатору GPT-4). Данные демонстрируют возможности арабского OCR и качество извлечения текста.
Что можно сделать
- Обучение и дообучение языковых моделей на арабском языке
- Оценка качества систем OCR и извлечения текста
- Задачи
- Генерация текста
- Языки
- Арабский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 24,1 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("MohamedRashad/arabic-books")