К содержимому

Датасет · domyn

Претрейн-микс Domyn Edge на 8,44 триллиона токенов

domyn/Domyn-Edge-Pretraining-Mix-8.4T

Огромный мультиязычный корпус из веб-текстов, кода, научных статей и математики для первого этапа предобучения LLM.

Что внутри

Это первая стадия претрейн-микса для модели Domyn Edge Base, содержащая 8,44 триллиона токенов (от 1 до 10 млрд записей). В состав входят веб-тексты, программный код, научные статьи, математика и многоязычные данные на английском, арабском, немецком, испанском, французском и индонезийском языках.

Что можно сделать

  • Предобучение (pre-training) крупных и компактных мультиязычных языковых моделей с нуля
  • Продолженное предобучение (continued pre-training) для усиления навыков в коде, науке и математике
  • Исследование состава и фильтрации сверхбольших претрейн-миксов
Задачи
Генерация текста
Языки
Английский, Арабский, Немецкий, Испанский, Французский, Индонезийский, Итальянский, Японский и ещё 4
Размер
1B–10B записей
Скачиваний за месяц
1 тыс.
Лайков
6

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("domyn/Domyn-Edge-Pretraining-Mix-8.4T")