К содержимому

Датасет · bastao

Крупный корпус текстов на португальском языке

bastao/VeraCruz_PT-BR

Около 190 миллионов текстов на португальском языке с разделением на европейский и бразильский варианты.

Что внутри

Масштабный текстовый корпус на португальском языке объемом порядка 190 миллионов примеров. Данные разделены по региональному происхождению на основе URL-метаданных: выделены категории для Португалии (PT) и Бразилии (BR).

Что можно сделать

  • Предобучение (pretrain) и дообучение языковых моделей на португальском языке
  • Обучение классификаторов для определения регионального диалекта текста (PT vs BR)
Задачи
Генерация текста, Классификация текста
Языки
Португальский
Размер
100M–1B записей
Скачиваний за месяц
21,3 тыс.
Лайков
18

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("bastao/VeraCruz_PT-BR")