Датасет · Orphanage
Корпус постов с Baidu Tieba для SFT
Orphanage/Baidu_Tieba_SunXiaochuan
Текстовые данные из китайского сообщества Baidu Tieba для стилевой доводки языковых моделей.
Что внутри
Содержит около 100 000 текстовых записей на китайском языке, случайно спарсенных с форума Baidu Tieba (сообщество Сяочуаня). Без картинок и видео, данные представлены в формате ChatGLM4 в виде файлов train.jsonl, dev.jsonl и исходного сырого текста.
Что можно сделать
- SFT языковых моделей для стилевой настройки на разговорный китайский язык
- Эксперименты с дообучением моделей в формате диалогов
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 676
- Лайков
- 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("Orphanage/Baidu_Tieba_SunXiaochuan")