Датасет · allenai
Очищенный веб-корпус C4
allenai/c4
Огромный очищенный корпус Common Crawl с вариантами en, realnewslike и многоязычным mC4.
Что внутри
C4 — очищенная версия веб-краула Common Crawl, основанная на обработанном Google C4. Доступны варианты en, en.noclean, en.noblocklist, realnewslike и многоязычный mC4. Размеры вариантов: en — 305 ГБ, en.noclean — 2,3 ТБ, en.noblocklist — 380 ГБ, realnewslike — 15 ГБ, mC4 — 9,7 ТБ на 108 подмножеств.
Что можно сделать
- Предобучение языковых моделей
- Дообучение на английском веб-тексте
- Эксперименты с realnewslike для новостного домена
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- af, am, Арабский, az, be, bg, bn, ca и ещё 4
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 730,4 тыс.
- Лайков
- 700
Модели, обученные на нём
- Alibaba-NLP/gte-large-en-v1.5Похожесть текстов 1,9 млн
- jinaai/jina-embeddings-v2-base-enЭмбеддинги 356,3 тыс.
- jinaai/jina-embeddings-v2-base-codeЭмбеддинги 144,9 тыс.
- arkohut/jina-embeddings-v2-base-enЭмбеддинги 110,8 тыс.
- mradermacher/mpt-30b-i1-GGUF 2,5 тыс.
- mradermacher/mpt-30b-GGUF 2 тыс.
- ggml-org/jina-embeddings-v2-base-code-Q8_0-GGUFЭмбеддинги 1,4 тыс.
- QuantFactory/Mistral-7B-Instruct-Uz-GGUFГенерация текста 1,3 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/c4")