К содержимому

Датасет · allenai

Сырой пул текстов Dolma 3 на 9 триллионов токенов

allenai/dolma3_pool

Огромный нефильтрованный англоязычный корпус из веб-страниц, научных статей и кода для предобучения больших языковых моделей.

Что внутри

Датасет от Allen Institute for AI содержит более 9 триллионов токенов на английском языке, собранных из разнообразных веб-источников, научных публикаций, программного кода и других текстов. Это исходный пул данных проекта Dolma 3 до проведения отбора по качеству и смешивания пропорций (финальная смесь для обучения Olmo 3 7B и 32B выложена отдельно).

Что можно сделать

  • Исследование пайплайнов очистки, фильтрации и дедупликации данных для LLM
  • Сборка собственных обучающих смесей для претрейна языковых моделей
Задачи
Генерация текста
Языки
Английский
Размер
10B–100B записей
Скачиваний за месяц
25,6 тыс.
Лайков
42

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/dolma3_pool")