Датасет · BAAI
Китайский корпус CCI для обучения LLM
BAAI/CCI-Data
Китайские тексты для обучения и проверки качества и безопасности больших языковых моделей.
Что внутри
Набор китайских текстовых данных для обучения генеративных моделей. По карточке, это очищенный корпус, созданный из-за рисков качества и безопасности популярных публичных китайских датасетов; объём — от 10 до 100 млн примеров. Язык — китайский, формат в карточке не указан.
Что можно сделать
- Предобучение или дообучение китайской LLM
- Оценка качества и безопасности текстовых моделей
- Фильтрация и очистка китайских корпусов
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 61
- Лайков
- 68
Как загрузить
from datasets import load_dataset
ds = load_dataset("BAAI/CCI-Data")