Датасет · botp
711 тысяч японских веб-новелл с платформы Syosetuka ni Narou
botp/RyokoAI_Syosetu711K
Крупный корпус художественных текстов на японском языке для генерации и классификации.
Что внутри
Датасет содержит около 711 700 романов и новелл на японском языке, спарсенных с популярной самиздат-платформы Syosetuka ni Narou в конце марта 2023 года. В выгрузку вошло большинство произведений, опубликованных на сайте на момент сбора. Авторы карточки предупреждают, что проект BigKnow2022 ещё не завершён, поэтому часть метаданных может быть неточной.
Что можно сделать
- Предобучение и дообучение генеративных языковых моделей на художественном японском языке
- Обучение классификаторов жанров и стилей японской сетевой литературы
- Задачи
- Классификация текста, Генерация текста
- Языки
- Японский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 36
Как загрузить
from datasets import load_dataset
ds = load_dataset("botp/RyokoAI_Syosetu711K")