Датасет · m-a-p
Китайский корпус предобучения на 800 млрд токенов
m-a-p/MAP-CC
Открытый китайский датасет предобучения объёмом 800 млрд токенов для NLP-сообщества.
Что внутри
Это открытый китайский корпус предобучения масштабом 800 млрд токенов. По карточке, данные прошли проверку на соответствие требованиям. Модальности — image и text, размер в метаданных — от 1 до 10 млрд записей.
Что можно сделать
- Предобучение китайской языковой модели
- Продолжение pretraining мультимодальной модели
- Оценка качества китайских корпусов
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 10,1 тыс.
- Лайков
- 83
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/MAP-CC")