К содержимому

Датасет · DKYoon

Выборка SlimPajama на 6 млрд токенов

DKYoon/SlimPajama-6B

Английский корпус примерно на 6 млрд токенов для обучения и проверки языковых моделей.

Что внутри

Это сэмпл 10% из train/chunk1 датасета cerebras/SlimPajama-627B; всего около 6 млрд токенов и 5 489 000 строк. Валидационная и тестовая части тоже сэмплированы. После распаковки датасет занимает около 24 ГБ, исходный корпус — более 2 ТБ.

Что можно сделать

  • Предобучение небольших языковых моделей
  • Дообучение LoRA для генерации текста
  • Проверка пайплайна на уменьшенной копии SlimPajama
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
10,4 тыс.
Лайков
67

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("DKYoon/SlimPajama-6B")