Датасет · Digitaluz
Очищенный языковой корпус узбекского языка
Digitaluz/uzbek-language-corpus
Большой очищенный корпус узбекского языка на латинице и кириллице для претренинга моделей.
Что внутри
Датасет содержит 5,638,325 документов (более 6 миллиардов слов) на узбекском языке в латинице и кириллице. Тексты собраны из книг (включая отсканированные через OCR), газет, архивных документов, юридических текстов, Википедии, веб-страниц и постов в Telegram, прошли фильтрацию и аннотацию по доменам.
Что можно сделать
- Претренинг языковых моделей для узбекского языка
- Обучение моделей генерации текста и заполнения масок
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- uz
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,9 тыс.
- Лайков
- 100
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Digitaluz/uzbek-language-corpus")