Датасет · OptimalScale
Корпус на 400 млрд токенов от NVIDIA для претрейна LLM
OptimalScale/ClimbMix
Очищенный англоязычный корпус из 400 миллиардов токенов для эффективного предобучения языковых моделей.
Что внутри
Датасет представляет собой огромный англоязычный текстовый корпус объемом 400 миллиардов токенов (в метаданных отмечено от 100 млн до 1 млрд строк), выпущенный NVIDIA. Данные разбиты на 1 000 тематических групп и пропущены через два классификатора для отсева рекламы и мусора.
Что можно сделать
- Предобучение (pre-training) языковых моделей с нуля при ограниченном бюджете токенов
- Исследование алгоритмов фильтрации и балансировки обучающих смесей
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 16 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("OptimalScale/ClimbMix")