Датасет · allenai
Смесь данных для annealing OLMo2
allenai/dolmino-mix-1124
Высококачественная смесь веб-текстов, статей, энциклопедий и кода для второго этапа обучения OLMo2.
Что внутри
Это микс DOLMino для второго этапа (annealing) обучения OLMo2. В него входят высококачественные веб-страницы DCLM HQ, Flan, научные статьи Pes2o, Wiki, StackExchange и другие источники; в таблице указаны объёмы в токенах, байтах и документах. Язык — английский, данные в табличном и текстовом формате.
Что можно сделать
- Дообучение большой языковой модели в стиле OLMo2
- Сравнение рецептов смешивания высококачественных корпусов
- Предобучение baseline на веб-текстах и STEM
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 26 тыс.
- Лайков
- 105
Модели, обученные на нём
- allenai/OLMo-2-1124-7B 31,4 тыс.
- allenai/OLMo-2-1124-13B 7,8 тыс.
- allenai/OLMoE-1B-7B-0125Генерация текста 7,5 тыс.
- mradermacher/Marco-Mini-Global-Base-i1-GGUF 2,2 тыс.
- marin-community/marin-8b-baseГенерация текста 2,2 тыс.
- mradermacher/Apex-2-Base-i1-GGUF 1,4 тыс.
- mradermacher/Marco-Nano-Base-i1-GGUF 1,3 тыс.
- mradermacher/OLMoE-1B-7B-0125-i1-GGUF 1,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/dolmino-mix-1124")