Датасет · BAAI
Китайский высококачественный веб-корпус CCI 3.0 HQ
BAAI/CCI3-HQ
Большой очищенный китайский текстовый корпус из доверенных интернет-источников для обучения и дообучения языковых моделей.
Что внутри
Датасет содержит тексты на китайском языке, собранные из доверенных интернет-источников. Это HQ-часть CCI 3.0: по сравнению с CCI источники расширены, а фильтрация ужесточена. Размер — от 10 до 100 млн записей; формат в карточке не указан.
Что можно сделать
- Предобучение китайской языковой модели
- Дообучение или адаптация LLM на китайском
- Проверка качества фильтрации китайского корпуса
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 4,5 тыс.
- Лайков
- 70
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- nicoboss/PLM-1.8B-Instruct-non-MLA-i1-GGUF 297
- nicoboss/PLM-1.8B-Instruct-non-MLA-GGUF 144
- PLM-Team/PLM-1.8B-InstructГенерация текста 122
- TurboPascal/ChineseModernBert 69
- PLM-Team/PLM-1.8B-BaseГенерация текста 37
- BAAI/Aquila-135MГенерация текста 4
- BAAI/Aquila-135M-InstructГенерация текста 4
- BAAI/CCI3-HQ-Intermediate-Checkpoints 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/CCI3-HQ")