К содержимому

Датасет · botp

711 тысяч японских веб-новелл с платформы Syosetuka ni Narou

botp/RyokoAI_Syosetu711K

Крупный корпус художественных текстов на японском языке для генерации и классификации.

Что внутри

Датасет содержит около 711 700 романов и новелл на японском языке, спарсенных с популярной самиздат-платформы Syosetuka ni Narou в конце марта 2023 года. В выгрузку вошло большинство произведений, опубликованных на сайте на момент сбора. Авторы карточки предупреждают, что проект BigKnow2022 ещё не завершён, поэтому часть метаданных может быть неточной.

Что можно сделать

  • Предобучение и дообучение генеративных языковых моделей на художественном японском языке
  • Обучение классификаторов жанров и стилей японской сетевой литературы
Задачи
Классификация текста, Генерация текста
Языки
Японский
Размер
100K–1M записей
Скачиваний за месяц
1,7 тыс.
Лайков
36

Как загрузить

from datasets import load_dataset

ds = load_dataset("botp/RyokoAI_Syosetu711K")