К содержимому

Датасет · soberania

Крупнейший очищенный корпус португальского языка для LLM

soberania/jabuticaba

669 ГБ очищенных и дедуплицированных текстов на португальском языке (более 139 млрд токенов) для обучения LLM.

Что внутри

Массивный корпус от проекта SoberanIA объёмом 669 ГБ, содержащий более 139 миллиардов токенов (по подсчёту токенизатора tiktoken от OpenAI) и от 100 млн до 1 млрд записей. Тексты на португальском языке прошли очистку и дедупликацию и разрешены в том числе для коммерческого использования. В метаданных указаны табличная и текстовая модальности.

Что можно сделать

  • Предобучение (pre-training) или продолженное обучение языковых моделей на португальском языке
  • Обучение моделей маскированного языкового моделирования (fill-mask) и эмбеддингов
  • Сборка локализованных коммерческих LLM для португалоязычного рынка
Задачи
Генерация текста, Заполнение пропусков
Языки
Португальский
Размер
100M–1B записей
Скачиваний за месяц
451
Лайков
25
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("soberania/jabuticaba")