Датасет · domyn
Претрейн-микс Domyn Edge на 8,44 триллиона токенов
domyn/Domyn-Edge-Pretraining-Mix-8.4T
Огромный мультиязычный корпус из веб-текстов, кода, научных статей и математики для первого этапа предобучения LLM.
Что внутри
Это первая стадия претрейн-микса для модели Domyn Edge Base, содержащая 8,44 триллиона токенов (от 1 до 10 млрд записей). В состав входят веб-тексты, программный код, научные статьи, математика и многоязычные данные на английском, арабском, немецком, испанском, французском и индонезийском языках.
Что можно сделать
- Предобучение (pre-training) крупных и компактных мультиязычных языковых моделей с нуля
- Продолженное предобучение (continued pre-training) для усиления навыков в коде, науке и математике
- Исследование состава и фильтрации сверхбольших претрейн-миксов
- Задачи
- Генерация текста
- Языки
- Английский, Арабский, Немецкий, Испанский, Французский, Индонезийский, Итальянский, Японский и ещё 4
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 1 тыс.
- Лайков
- 6
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("domyn/Domyn-Edge-Pretraining-Mix-8.4T")