К содержимому

Датасет · allenai

Обучающий микс данных для модели Olmo 3 7B

allenai/dolma3_mix-6T-1025-7B

Многомиллиардный корпус английских текстов от AllenAI, предназначенный для воспроизведения обучения Olmo 3 7B.

Что внутри

Огромный текстовый корпус на английском языке объёмом от 1 до 10 миллиардов записей, собранный институтом AllenAI. Авторы предупреждают, что этот срез создан строго для воспроизведения модели Olmo 3 7B, при этом часть научных PDF-текстов из olmOCR была удалена и заменена на метку [REMOVED].

Что можно сделать

  • Воспроизведение экспериментов и претрейна модели Olmo 3 7B
  • Исследование состава обучающих выборок крупных языковых моделей
  • Анализ влияния фильтрации и удаления данных на качество претрейна
Задачи
Генерация текста
Языки
Английский
Размер
1B–10B записей
Скачиваний за месяц
89,5 тыс.
Лайков
58

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/dolma3_mix-6T-1025-7B")