К содержимому

Датасет · bh2821

Корпус ранобэ на китайском языке в TXT и PDF

bh2821/LightNovel5000

Около 1 500 переведённых на китайский язык ранобэ в текстовом виде и в PDF с иллюстрациями для генерации художественных текстов.

Что внутри

Сборник включает около 1 500 лёгких романов (ранобэ), переведённых на китайский язык и собранных с открытых сайтов. Данные представлены в виде текстовых файлов TXT, а также документов PDF с иллюстрациями. Автор отмечает, что тексты прошли лишь частичную очистку, поэтому в них может оставаться лишний шум.

Что можно сделать

  • Дообучение LLM для генерации художественной прозы и стилизации текста
  • Создание систем извлечения текста и иллюстраций из многостраничных PDF
  • Продолженный претрейн моделей на длинных связных повествованиях
Задачи
Генерация текста, Перевод
Языки
Китайский, Английский
Размер
до 1K записей
Скачиваний за месяц
583
Лайков
45

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("bh2821/LightNovel5000")