К содержимому

Датасет · latam-gpt

Открытый корпус текстов для моделей Латинской Америки

latam-gpt/LatamGPT-Corpus-1.0

Масштабный открытый корпус на испанском, португальском и английском языках для дообучения крупных LLM.

Что внутри

Репозиторий представляет собой открытую часть корпуса, на котором проходило продолженное предобучение модели Llama-3.1-70B-LatamGPT-SFT-1.0. Внутри содержится от 100 миллионов до 1 миллиарда записей (указаны текстовая и графическая модальности) на испанском, португальском и английском языках.

Что можно сделать

  • Продолженное предобучение (continued pretraining) языковых моделей под испанский и португальский языки
  • Подготовка многоязычных наборов данных для региональных LLM
Задачи
Генерация текста
Языки
Испанский, Португальский, Английский
Размер
100M–1B записей
Скачиваний за месяц
1,8 тыс.
Лайков
70
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("latam-gpt/LatamGPT-Corpus-1.0")