Датасет · AdaMLLab
Очищенный японский корпус для претрейна LLM
AdaMLLab/JpnMix
Крупный корпус на японском языке от 100M до 1B документов с фильтрацией качества и MinHash-дедупликацией.
Что внутри
Корпус для предварительного обучения языковых моделей на японском языке (к статье arXiv:2512.18834), собранный из пяти открытых японских датасетов. Данные прошли специальную фильтрацию качества и кросс-датасетную дедупликацию, а сам репозиторий разделён на три поднабора: quality_filtered, minhash_deduped и matched (документы, встретившиеся в двух и более источниках).
Что можно сделать
- Претрейн и продолженное обучение (continual pretraining) LLM на японском языке
- Исследование влияния дедупликации и фильтрации качества на обучение языковых моделей
- Задачи
- Генерация текста
- Языки
- Японский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 4 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("AdaMLLab/JpnMix")