Датасет · globis-university
Очищенные тексты японских книг из библиотеки Aozora Bunko
globis-university/aozorabunko-clean
Корпус художественной и публицистической литературы на японском языке из общественного достояния.
Что внутри
Датасет содержит от 10 до 100 тысяч очищенных текстов на японском языке, собранных из онлайн-библиотеки Aozora Bunko, где публикуются произведения в общественном достоянии. Авторы подготовили данные в удобном для машинного обучения виде и выложили код для воспроизведения парсинга на GitHub. Набор предназначен для задач генерации и классификации текста.
Что можно сделать
- Дообучение языковых моделей или LoRA на классическом и литературном японском языке
- Обучение моделей классификации текстов и анализа стиля японской литературы
- Задачи
- Генерация текста, Классификация текста
- Языки
- Японский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,5 тыс.
- Лайков
- 49
Модели, обученные на нём
- nvidia/NVIDIA-Nemotron-Nano-9B-v2-JapaneseГенерация текста 3,2 тыс.
- mradermacher/NVIDIA-Nemotron-Nano-9B-v2-Japanese-i1-GGUF 2,7 тыс.
- JustANormalTinkerer/hayai-ocr-v2Картинка → текст 2,4 тыс.
- JustANormalTinkerer/hayai-ocr-v2.5-novaКартинка → текст 1,8 тыс.
- mradermacher/NVIDIA-Nemotron-Nano-9B-v2-Japanese-GGUF 1,1 тыс.
- globis-university/deberta-v3-japanese-baseРазметка токенов 709
- akineAItech/Noberai-7B-V001-2048-alphaГенерация текста 372
- KoichiYasuoka/modernbert-base-japanese-charЗаполнение пропусков 300
Как загрузить
from datasets import load_dataset
ds = load_dataset("globis-university/aozorabunko-clean")