К содержимому

Датасет · globis-university

Очищенные тексты японских книг из библиотеки Aozora Bunko

globis-university/aozorabunko-clean

Корпус художественной и публицистической литературы на японском языке из общественного достояния.

Что внутри

Датасет содержит от 10 до 100 тысяч очищенных текстов на японском языке, собранных из онлайн-библиотеки Aozora Bunko, где публикуются произведения в общественном достоянии. Авторы подготовили данные в удобном для машинного обучения виде и выложили код для воспроизведения парсинга на GitHub. Набор предназначен для задач генерации и классификации текста.

Что можно сделать

  • Дообучение языковых моделей или LoRA на классическом и литературном японском языке
  • Обучение моделей классификации текстов и анализа стиля японской литературы
Задачи
Генерация текста, Классификация текста
Языки
Японский
Размер
10K–100K записей
Скачиваний за месяц
1,5 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("globis-university/aozorabunko-clean")