Датасет · nicholasKluge
Инструктивный корпус на бразильском португальском
nicholasKluge/Pt-Corpus-Instruct
Огромный текстовый корпус на 6,2 млрд токенов для предобучения и SFT моделей на португальском языке.
Что внутри
Датасет объединяет несколько португалоязычных наборов данных с Hugging Face (бразильский вариант португальского языка) и весит 80 ГБ в несжатом токенизированном виде. Внутри около 6,2 миллиарда токенов (от 10 до 100 миллионов записей), включая диалоговые и общие инструктивные данные. Набор предназначен для начального предобучения моделей с учётом предпочтений.
Что можно сделать
- Предобучение (pre-training) или продолженное обучение LLM на португальском языке
- Проведение SFT для создания португалоязычного чат-бота
- Адаптация мультиязычных моделей под бразильский вариант португальского
- Задачи
- Генерация текста
- Языки
- Португальский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 4
Модели, обученные на нём
- nicholasKluge/TeenyTinyLlama-160mГенерация текста 241
- afrideva/TeenyTinyLlama-160m-GGUFГенерация текста 207
- nicholasKluge/TeenyTinyLlama-460mГенерация текста 186
- afrideva/TeenyTinyLlama-460m-GGUFГенерация текста 85
- tensorblock/TeenyTinyLlama-160m-GGUFГенерация текста 75
- nicholasKluge/TeenyTinyLlama-460m-awqГенерация текста 24
Как загрузить
from datasets import load_dataset
ds = load_dataset("nicholasKluge/Pt-Corpus-Instruct")