Датасет · nvidia
Высококачественный корпус для предобучения LLM
nvidia/Nemotron-ClimbMix
Англоязычный набор данных для предобучения LLM, ориентированный на высокое качество и эффективное масштабирование.
Что внутри
ClimbMix — подборка высококачественных данных для предобучения языковых моделей. В карточке указано, что непрерывное обучение модели 1B на нём даёт прирост 2,0% относительно Llama-3.2-1B и лучший scaling по сравнению с другими данными. Язык — английский, объём — от 100 млн до 1 млрд записей, формат — tabular.
Что можно сделать
- Предобучение LLM размером около 1B
- Изучение scaling-законов на англоязычном корпусе
- Сравнение стратегий отбора данных для pretraining
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 11,3 тыс.
- Лайков
- 133
Модели, обученные на нём
- AxiomicLabs/GPT-X3-150MГенерация текста 3,2 тыс.
- MinimaLabs/KLM-1.5Генерация текста 1,5 тыс.
- AxiomicLabs/GPT-S3-3MГенерация текста 1,1 тыс.
- MinimaLabs/KLM-1.6Генерация текста 666
- MinimaLabs/min-spark-1.7Генерация текста 492
- MinimaLabs/min-spark-1.6Генерация текста 372
- qikp/kite-8.1-11m-baseГенерация текста 215
- qikp/kite-9-16m-baseГенерация текста 23
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/Nemotron-ClimbMix")