Датасет · allenai
Претрейн-набор OLMo 2 (ноябрь 2024)
allenai/olmo-mix-1124
Корпус для предобучения OLMo-2-1124: DCLM-Baseline, Arxiv, pes2o, StarCoder и др.
Что внутри
Это набор данных для предобучения моделей OLMo-2-1124. Основная часть — DCLM-Baseline без дополнительной фильтрации; также включены Arxiv, pes2o, starcoder и Algebraic-stack. В карточке приведены токены, байты и число документов по компонентам. Язык указан как английский, размер — от 1B до 10B.
Что можно сделать
- Обучить или продолжить предобучение LLM
- Воспроизвести претрейн OLMo 2
- Изучить состав открытого pretraining-микса
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 15,2 тыс.
- Лайков
- 93
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/olmo-mix-1124")