Датасет · m-a-p
Двуязычный корпус на 4,69 трлн токенов
m-a-p/Matrix
Англо-китайский открытый корпус для предобучения языковых моделей, по карточке — 4,69 трлн токенов.
Что внутри
Открытый датасет для pretraining на английском и китайском языках. По карточке содержит 4 690 млрд токенов и собран из нескольких источников, включая выгрузки Common Crawl. Метаданные указывают размер 1B–10B; формат — тексты.
Что можно сделать
- Предобучение двуязычной LLM
- Continued pretraining англо-китайской модели
- Обучение или проверка токенизатора
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 85,7 тыс.
- Лайков
- 183
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/Matrix")