Датасет · allenai
Смешанный претрейн-датасет Dolma 3
allenai/dolma3_mix-150B-1025
Сэмбл обучающих данных Dolma 3 объемом 150B токенов из веба, кода, математики и научных документов.
Что внутри
Выборка данных для предобучения, включающая веб-страницы Common Crawl (121B токенов), научные PDF-документы olmOCR (19.9B), код Stack-Edu (11.1B), статьи arXiv, математические страницы FineMath и Wikipedia.
Что можно сделать
- Предобучение и дообучение больших языковых моделей (LLM)
- Исследования в области качества данных для генеративных моделей
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 9,2 тыс.
- Лайков
- 12
Модели, обученные на нём
- asciibase64/Llama-3.2-1B-dolma3_mixГенерация текста 458
- Nat1an/cerulean-lab5-distill128-3b-j559819Генерация текста 413
- Nat1an/cerulean-lab5-distill128-3b-j561140Генерация текста 47
- Nat1an/cerulean-lab5-muon-pilot-j511584Генерация текста 18
- Nat1an/cerulean-lab5-muon-3b-j539809Генерация текста 17
- Nat1an/cerulean-lab5-distill3b-teacher-3b-j586139Генерация текста 16
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/dolma3_mix-150B-1025")