Датасет · soberania
Крупнейший очищенный корпус португальского языка для LLM
soberania/jabuticaba
669 ГБ очищенных и дедуплицированных текстов на португальском языке (более 139 млрд токенов) для обучения LLM.
Что внутри
Массивный корпус от проекта SoberanIA объёмом 669 ГБ, содержащий более 139 миллиардов токенов (по подсчёту токенизатора tiktoken от OpenAI) и от 100 млн до 1 млрд записей. Тексты на португальском языке прошли очистку и дедупликацию и разрешены в том числе для коммерческого использования. В метаданных указаны табличная и текстовая модальности.
Что можно сделать
- Предобучение (pre-training) или продолженное обучение языковых моделей на португальском языке
- Обучение моделей маскированного языкового моделирования (fill-mask) и эмбеддингов
- Сборка локализованных коммерческих LLM для португалоязычного рынка
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Португальский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 451
- Лайков
- 25
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("soberania/jabuticaba")