Датасет · allenai
Открытый корпус на 3 трлн токенов
allenai/dolma
Открытый англоязычный корпус на 3 трлн токенов для исследования и предобучения языковых моделей.
Что внутри
Это текстовый корпус Dolma объёмом около трёх триллионов токенов на английском языке, собранный для предобучения и исследований языковых моделей. В карточке он описан как открытый корпус для pretraining research; других сведений о составе и формате в метаданных нет.
Что можно сделать
- Предобучение базовой англоязычной LLM
- Исследование состава и очистки корпусов для pretraining
- Сравнение стратегий обучения на больших текстовых данных
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- больше 1T записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 1,1 тыс.
Модели, обученные на нём
- allenai/OLMo-1B-hfГенерация текста 28,1 тыс.
- dmis-lab/UltraBERT-380MЗаполнение пропусков 15,2 тыс.
- dmis-lab/UltraBERT-150MЗаполнение пропусков 14,6 тыс.
- allenai/OLMo-7BГенерация текста 10 тыс.
- allenai/OLMo-7B-hfГенерация текста 4,9 тыс.
- lmstudio-community/AMD-OLMo-1B-SFT-DPO-GGUFГенерация текста 4,5 тыс.
- allenai/OLMo-1B-0724-hfГенерация текста 4,3 тыс.
- allenai/OLMo-7B-0724-hfГенерация текста 2,6 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/dolma")