К содержимому

Датасет · AdaMLLab

Очищенный японский корпус для претрейна LLM

AdaMLLab/JpnMix

Крупный корпус на японском языке от 100M до 1B документов с фильтрацией качества и MinHash-дедупликацией.

Что внутри

Корпус для предварительного обучения языковых моделей на японском языке (к статье arXiv:2512.18834), собранный из пяти открытых японских датасетов. Данные прошли специальную фильтрацию качества и кросс-датасетную дедупликацию, а сам репозиторий разделён на три поднабора: quality_filtered, minhash_deduped и matched (документы, встретившиеся в двух и более источниках).

Что можно сделать

  • Претрейн и продолженное обучение (continual pretraining) LLM на японском языке
  • Исследование влияния дедупликации и фильтрации качества на обучение языковых моделей
Задачи
Генерация текста
Языки
Японский
Размер
100M–1B записей
Скачиваний за месяц
4 тыс.
Лайков
5

Как загрузить

from datasets import load_dataset

ds = load_dataset("AdaMLLab/JpnMix")