К содержимому

Датасет · BAAI

Китайский высококачественный веб-корпус CCI 3.0 HQ

BAAI/CCI3-HQ

Большой очищенный китайский текстовый корпус из доверенных интернет-источников для обучения и дообучения языковых моделей.

Что внутри

Датасет содержит тексты на китайском языке, собранные из доверенных интернет-источников. Это HQ-часть CCI 3.0: по сравнению с CCI источники расширены, а фильтрация ужесточена. Размер — от 10 до 100 млн записей; формат в карточке не указан.

Что можно сделать

  • Предобучение китайской языковой модели
  • Дообучение или адаптация LLM на китайском
  • Проверка качества фильтрации китайского корпуса
Задачи
Генерация текста
Языки
Китайский
Размер
10M–100M записей
Скачиваний за месяц
4,5 тыс.
Лайков
70
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("BAAI/CCI3-HQ")