К содержимому

Датасет · allenai

Смешанный претрейн-датасет Dolma 3

allenai/dolma3_mix-150B-1025

Сэмбл обучающих данных Dolma 3 объемом 150B токенов из веба, кода, математики и научных документов.

Что внутри

Выборка данных для предобучения, включающая веб-страницы Common Crawl (121B токенов), научные PDF-документы olmOCR (19.9B), код Stack-Edu (11.1B), статьи arXiv, математические страницы FineMath и Wikipedia.

Что можно сделать

  • Предобучение и дообучение больших языковых моделей (LLM)
  • Исследования в области качества данных для генеративных моделей
Задачи
Генерация текста
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
9,2 тыс.
Лайков
12

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/dolma3_mix-150B-1025")