К содержимому

Датасет · QuixiAI

Синтетический корпус для претрейна языковых моделей

QuixiAI/SYN-1B

Синтетические текстовые потоки с правилами и связками для предварительного обучения LLM.

Что внутри

Корпус объемом 1.04B токенов на английском языке состоит из структурированных текстовых потоков, где текст устанавливает факты, маппинги и простые генеративные правила. Предназначен для структурированного предварительного обучения (pretraining), а не для SFT.

Что можно сделать

  • Предварительное обучение (pretraining) языковых моделей на структурированных синтетических правилах
  • Исследование возможностей LLM в отслеживании логических связок и фактов
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
509
Лайков
10

Как загрузить

from datasets import load_dataset

ds = load_dataset("QuixiAI/SYN-1B")