Датасет · philschmid
Сырые диалоги ShareGPT 90k
philschmid/sharegpt-raw
Необработанные JSON-диалоги ShareGPT 90k с инструкцией по склейке и проверке файлов.
Что внутри
Датасет содержит сырые текстовые диалоги ShareGPT: в карточке упоминаются два файла sg_90k_part1.json и sg_90k_part2.json, а также sharegpt_20230401_html_unformatted.json. Описаны шаги очистки: склеить два JSON, отформатировать объединённый файл и опционально проверить его через jq. Язык и точный объём в метаданных не указаны.
Что можно сделать
- Для SFT чат-модели на реальных диалогах
- Для очистки и подготовки ShareGPT-подобных данных
- Для проверки пайплайна загрузки JSON-диалогов
- Скачиваний за месяц
- 301
- Лайков
- 92
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("philschmid/sharegpt-raw")