К содержимому

Датасет · tahrirchi

Корпус узбекских книг UzBooks V2 (OCR)

tahrirchi/uz-books-v2

Двуязычный корпус около 40 000 книг на узбекском языке в латинской и кириллической версиях.

Что внутри

Набор включает 38 339 книг в латинской транслитерации и столько же в кириллической версии, полученных с помощью улучшенного движка Google Cloud Vision OCR. Текст собран в виде текстовых данных и разделен на две части в соответствии с алфавитом.

Что можно сделать

  • Предобучение языковых моделей для узбекского языка
  • Задачи заполнения маски (fill-mask) и генерации текста
  • Улучшение систем оптического распознавания текста (OCR)
Задачи
Генерация текста, Заполнение пропусков
Языки
uz
Размер
10K–100K записей
Скачиваний за месяц
944
Лайков
7

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tahrirchi/uz-books-v2")