Датасет · PleIAs
Крупнейший открытый текстовый корпус
PleIAs/common_corpus
Открытый мультиязычный корпус на 2,27 трлн токенов: книги, пресса, наука, законы и код.
Что внутри
Common Corpus — крупнейший открытый текстовый датасет с открытой лицензией, по карточке — 2 267 302 720 836 токенов. Внутри книги, газеты, научные статьи, государственные и юридические документы, код и другие тексты. Датасет создан Pleias с партнёрами; языки включают английский, французский, немецкий, китайский, итальянский и испанский.
Что можно сделать
- Предобучить базовую языковую модель
- Дообучить LoRA на книгах и научных текстах
- Проверить мультиязычную модель на открытых данных
- Языки
- Английский, Французский, Немецкий, Китайский, Итальянский, Испанский, Японский, Польский и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 244,3 тыс.
- Лайков
- 449
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("PleIAs/common_corpus")