К содержимому

Датасет · TucanoBR

780 ГБ текстов на португальском языке

TucanoBR/GigaVerbo

Сводный текстовый корпус на 200 миллиардов токенов для обучения португалоязычных языковых моделей.

Что внутри

Масштабный набор данных объёмом 780 ГБ (более 200 миллиардов токенов) на португальском языке, собранный путём объединения нескольких открытых датасетов с Hugging Face. Представлен в текстовом и табличном виде.

Что можно сделать

  • Предобучение (pretrain) больших языковых моделей на португальском языке
  • Языковая адаптация существующих мультиязычных LLM под португальский
Задачи
Генерация текста
Языки
Португальский
Размер
100M–1B записей
Скачиваний за месяц
559
Лайков
42

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("TucanoBR/GigaVerbo")