Датасет · QuixiAI
Синтетический корпус для претрейна языковых моделей
QuixiAI/SYN-1B
Синтетические текстовые потоки с правилами и связками для предварительного обучения LLM.
Что внутри
Корпус объемом 1.04B токенов на английском языке состоит из структурированных текстовых потоков, где текст устанавливает факты, маппинги и простые генеративные правила. Предназначен для структурированного предварительного обучения (pretraining), а не для SFT.
Что можно сделать
- Предварительное обучение (pretraining) языковых моделей на структурированных синтетических правилах
- Исследование возможностей LLM в отслеживании логических связок и фактов
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 509
- Лайков
- 10
Как загрузить
from datasets import load_dataset
ds = load_dataset("QuixiAI/SYN-1B")