Датасет · opencsg
Китайский синтетический корпус Cosmopedia
opencsg/chinese-cosmopedia
15 млн записей и около 60 млрд токенов синтетических китайских текстов для обучения генеративных моделей.
Что внутри
Датасет содержит 15 млн синтетических текстов на китайском языке, всего около 60 млрд токенов. Содержание строится из seed-данных, задающих тему, и промптов, определяющих стиль: учебники, рассказы, инструкции или детские книги. Формат записей в карточке не уточняется.
Что можно сделать
- Дообучение китайской LLM на синтетических текстах
- SFT для стилей учебников, рассказов и инструкций
- Проверка качества генерации на китайском
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 2,1 тыс.
- Лайков
- 82
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("opencsg/chinese-cosmopedia")