Датасет · TucanoBR
780 ГБ текстов на португальском языке
TucanoBR/GigaVerbo
Сводный текстовый корпус на 200 миллиардов токенов для обучения португалоязычных языковых моделей.
Что внутри
Масштабный набор данных объёмом 780 ГБ (более 200 миллиардов токенов) на португальском языке, собранный путём объединения нескольких открытых датасетов с Hugging Face. Представлен в текстовом и табличном виде.
Что можно сделать
- Предобучение (pretrain) больших языковых моделей на португальском языке
- Языковая адаптация существующих мультиязычных LLM под португальский
- Задачи
- Генерация текста
- Языки
- Португальский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 559
- Лайков
- 42
Модели, обученные на нём
- TucanoBR/Tucano-160mГенерация текста 2,7 тыс.
- AIInstituteLNCC/manaca-1b-baseГенерация текста 1 тыс.
- TucanoBR/Tucano-2b4Генерация текста 960
- TucanoBR/Tucano-630mГенерация текста 900
- TucanoBR/Tucano-1b1Генерация текста 663
- mradermacher/manaca-1b-base-i1-GGUFГенерация текста 631
- mradermacher/Prosodia_T1.7B-Instruct-GGUF 326
- mradermacher/manaca-1b-base-GGUFГенерация текста 232
Как загрузить
from datasets import load_dataset
ds = load_dataset("TucanoBR/GigaVerbo")