К содержимому

Датасет · Orphanage

Корпус постов с Baidu Tieba для SFT

Orphanage/Baidu_Tieba_SunXiaochuan

Текстовые данные из китайского сообщества Baidu Tieba для стилевой доводки языковых моделей.

Что внутри

Содержит около 100 000 текстовых записей на китайском языке, случайно спарсенных с форума Baidu Tieba (сообщество Сяочуаня). Без картинок и видео, данные представлены в формате ChatGLM4 в виде файлов train.jsonl, dev.jsonl и исходного сырого текста.

Что можно сделать

  • SFT языковых моделей для стилевой настройки на разговорный китайский язык
  • Эксперименты с дообучением моделей в формате диалогов
Задачи
Генерация текста, Вопрос-ответ
Языки
Китайский
Размер
10K–100K записей
Скачиваний за месяц
676
Лайков
13

Как загрузить

from datasets import load_dataset

ds = load_dataset("Orphanage/Baidu_Tieba_SunXiaochuan")