Датасет · bh2821
Корпус ранобэ на китайском языке в TXT и PDF
bh2821/LightNovel5000
Около 1 500 переведённых на китайский язык ранобэ в текстовом виде и в PDF с иллюстрациями для генерации художественных текстов.
Что внутри
Сборник включает около 1 500 лёгких романов (ранобэ), переведённых на китайский язык и собранных с открытых сайтов. Данные представлены в виде текстовых файлов TXT, а также документов PDF с иллюстрациями. Автор отмечает, что тексты прошли лишь частичную очистку, поэтому в них может оставаться лишний шум.
Что можно сделать
- Дообучение LLM для генерации художественной прозы и стилизации текста
- Создание систем извлечения текста и иллюстраций из многостраничных PDF
- Продолженный претрейн моделей на длинных связных повествованиях
- Задачи
- Генерация текста, Перевод
- Языки
- Китайский, Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 583
- Лайков
- 45
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("bh2821/LightNovel5000")