Датасет · DKYoon
Выборка SlimPajama на 6 млрд токенов
DKYoon/SlimPajama-6B
Английский корпус примерно на 6 млрд токенов для обучения и проверки языковых моделей.
Что внутри
Это сэмпл 10% из train/chunk1 датасета cerebras/SlimPajama-627B; всего около 6 млрд токенов и 5 489 000 строк. Валидационная и тестовая части тоже сэмплированы. После распаковки датасет занимает около 24 ГБ, исходный корпус — более 2 ТБ.
Что можно сделать
- Предобучение небольших языковых моделей
- Дообучение LoRA для генерации текста
- Проверка пайплайна на уменьшенной копии SlimPajama
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 10,4 тыс.
- Лайков
- 67
Модели, обученные на нём
- KvcHub/KaiLu3Генерация текста 140
- zongyueq/LLoPS-360MГенерация текста 111
- zongyueq/LLoPS-1BГенерация текста 109
- KvcHub/KaiLu-3-ProГенерация текста 77
- brivangl/qwenar-0.6bЭмбеддинги 22
- pszemraj/sail-slimpajama-6B-32768-BPE-tokenizer 0
- Kirili4ik/ICAE-for-SWE-agents 0
- Abigail45/Llama-Smol-DeepSWE-Preview-NanBeige-ClaudeГенерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("DKYoon/SlimPajama-6B")