К содержимому

Датасет · Digitaluz

Очищенный языковой корпус узбекского языка

Digitaluz/uzbek-language-corpus

Большой очищенный корпус узбекского языка на латинице и кириллице для претренинга моделей.

Что внутри

Датасет содержит 5,638,325 документов (более 6 миллиардов слов) на узбекском языке в латинице и кириллице. Тексты собраны из книг (включая отсканированные через OCR), газет, архивных документов, юридических текстов, Википедии, веб-страниц и постов в Telegram, прошли фильтрацию и аннотацию по доменам.

Что можно сделать

  • Претренинг языковых моделей для узбекского языка
  • Обучение моделей генерации текста и заполнения масок
Задачи
Генерация текста, Заполнение пропусков
Языки
uz
Размер
1M–10M записей
Скачиваний за месяц
1,9 тыс.
Лайков
100

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Digitaluz/uzbek-language-corpus")