К содержимому

Датасет · nicholasKluge

Инструктивный корпус на бразильском португальском

nicholasKluge/Pt-Corpus-Instruct

Огромный текстовый корпус на 6,2 млрд токенов для предобучения и SFT моделей на португальском языке.

Что внутри

Датасет объединяет несколько португалоязычных наборов данных с Hugging Face (бразильский вариант португальского языка) и весит 80 ГБ в несжатом токенизированном виде. Внутри около 6,2 миллиарда токенов (от 10 до 100 миллионов записей), включая диалоговые и общие инструктивные данные. Набор предназначен для начального предобучения моделей с учётом предпочтений.

Что можно сделать

  • Предобучение (pre-training) или продолженное обучение LLM на португальском языке
  • Проведение SFT для создания португалоязычного чат-бота
  • Адаптация мультиязычных моделей под бразильский вариант португальского
Задачи
Генерация текста
Языки
Португальский
Размер
10M–100M записей
Скачиваний за месяц
1,4 тыс.
Лайков
4

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nicholasKluge/Pt-Corpus-Instruct")