Датасет · allenai
Обучающий микс данных для модели Olmo 3 7B
allenai/dolma3_mix-6T-1025-7B
Многомиллиардный корпус английских текстов от AllenAI, предназначенный для воспроизведения обучения Olmo 3 7B.
Что внутри
Огромный текстовый корпус на английском языке объёмом от 1 до 10 миллиардов записей, собранный институтом AllenAI. Авторы предупреждают, что этот срез создан строго для воспроизведения модели Olmo 3 7B, при этом часть научных PDF-текстов из olmOCR была удалена и заменена на метку [REMOVED].
Что можно сделать
- Воспроизведение экспериментов и претрейна модели Olmo 3 7B
- Исследование состава обучающих выборок крупных языковых моделей
- Анализ влияния фильтрации и удаления данных на качество претрейна
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 89,5 тыс.
- Лайков
- 58
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/dolma3_mix-6T-1025-7B")