Датасет · bastao
Крупный корпус текстов на португальском языке
bastao/VeraCruz_PT-BR
Около 190 миллионов текстов на португальском языке с разделением на европейский и бразильский варианты.
Что внутри
Масштабный текстовый корпус на португальском языке объемом порядка 190 миллионов примеров. Данные разделены по региональному происхождению на основе URL-метаданных: выделены категории для Португалии (PT) и Бразилии (BR).
Что можно сделать
- Предобучение (pretrain) и дообучение языковых моделей на португальском языке
- Обучение классификаторов для определения регионального диалекта текста (PT vs BR)
- Задачи
- Генерация текста, Классификация текста
- Языки
- Португальский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 21,3 тыс.
- Лайков
- 18
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("bastao/VeraCruz_PT-BR")