К содержимому

Датасет · BAAI

Масштабный очищенный корпус китайских веб-текстов

BAAI/CCI2-Data

Сотни миллионов очищенных текстов на китайском языке для предобучения и обеспечения безопасности LLM.

Что внутри

Вторая версия корпуса CCI (Chinese Corpora Internet), насчитывающая от 100 миллионов до 1 миллиарда текстовых документов на китайском языке. Датасет собран из надёжных интернет-источников и прошёл строгую очистку и дедупликацию, чтобы восполнить нехватку качественных и безопасных данных на китайском.

Что можно сделать

  • Предобучение и продолженное обучение (continual pretraining) китайских LLM
  • Обучение моделей фильтрации контента и систем безопасности на китайском языке
  • Формирование чистого текстового корпуса для языковых исследований
Задачи
Генерация текста
Языки
Китайский
Размер
100M–1B записей
Скачиваний за месяц
1,4 тыс.
Лайков
57

Как загрузить

from datasets import load_dataset

ds = load_dataset("BAAI/CCI2-Data")