Датасет · BAAI
Масштабный очищенный корпус китайских веб-текстов
BAAI/CCI2-Data
Сотни миллионов очищенных текстов на китайском языке для предобучения и обеспечения безопасности LLM.
Что внутри
Вторая версия корпуса CCI (Chinese Corpora Internet), насчитывающая от 100 миллионов до 1 миллиарда текстовых документов на китайском языке. Датасет собран из надёжных интернет-источников и прошёл строгую очистку и дедупликацию, чтобы восполнить нехватку качественных и безопасных данных на китайском.
Что можно сделать
- Предобучение и продолженное обучение (continual pretraining) китайских LLM
- Обучение моделей фильтрации контента и систем безопасности на китайском языке
- Формирование чистого текстового корпуса для языковых исследований
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 1,4 тыс.
- Лайков
- 57
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/CCI2-Data")