Датасет · latam-gpt
Открытый корпус текстов для моделей Латинской Америки
latam-gpt/LatamGPT-Corpus-1.0
Масштабный открытый корпус на испанском, португальском и английском языках для дообучения крупных LLM.
Что внутри
Репозиторий представляет собой открытую часть корпуса, на котором проходило продолженное предобучение модели Llama-3.1-70B-LatamGPT-SFT-1.0. Внутри содержится от 100 миллионов до 1 миллиарда записей (указаны текстовая и графическая модальности) на испанском, португальском и английском языках.
Что можно сделать
- Продолженное предобучение (continued pretraining) языковых моделей под испанский и португальский языки
- Подготовка многоязычных наборов данных для региональных LLM
- Задачи
- Генерация текста
- Языки
- Испанский, Португальский, Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 70
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("latam-gpt/LatamGPT-Corpus-1.0")