Датасет · opendatalab
AI-ready Common Crawl на многих языках
opendatalab/AICC
Большой многоязычный корпус из Common Crawl, очищенный для обучения языковых моделей.
Что внутри
AICC — датасет на основе Common Crawl, подготовленный для обучения ИИ. В карточке отдельно упомянут обновлённый корпус CC-MinerU-Code: 4,58 млн примеров, извлечённых из полного Common Crawl; каждая запись содержит язык, язык кода и Markdown с блоками кода. Датасет многоязычный, по метаданным его объём — 1B<n<10B.
Что можно сделать
- Предобучить многоязычную LLM на веб-текстах
- Обучить код-модель на CC-MinerU-Code
- Проверить очистку Common Crawl
- Задачи
- Генерация текста
- Языки
- Много языков
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 8,6 тыс.
- Лайков
- 117
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("opendatalab/AICC")