Датасет · allenai
Сырой пул текстов Dolma 3 на 9 триллионов токенов
allenai/dolma3_pool
Огромный нефильтрованный англоязычный корпус из веб-страниц, научных статей и кода для предобучения больших языковых моделей.
Что внутри
Датасет от Allen Institute for AI содержит более 9 триллионов токенов на английском языке, собранных из разнообразных веб-источников, научных публикаций, программного кода и других текстов. Это исходный пул данных проекта Dolma 3 до проведения отбора по качеству и смешивания пропорций (финальная смесь для обучения Olmo 3 7B и 32B выложена отдельно).
Что можно сделать
- Исследование пайплайнов очистки, фильтрации и дедупликации данных для LLM
- Сборка собственных обучающих смесей для претрейна языковых моделей
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 25,6 тыс.
- Лайков
- 42
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/dolma3_pool")