Датасет · openbmb
Английский веб-корпус Ultra-FineWeb-L1
openbmb/Ultra-FineWeb-L1
Крупный английский веб-корпус из Common Crawl, отфильтрованный слой L1 для обучения языковых моделей.
Что внутри
Ultra-FineWeb-L1 — крупномасштабный англоязычный корпус, собранный из снимков Common Crawl. В рамках уровней UltraData L0–L4 это отфильтрованный слой L1 для общих веб-данных и основа для дальнейших L2/L3. Обработка построена на пайплайне FineWeb; объём по метаданным — в диапазоне 1B–10B.
Что можно сделать
- Предобучение или дообучение английских LLM
- Эксперименты с фильтрацией веб-данных
- Сравнение качества корпусов для pretraining
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 8,2 тыс.
- Лайков
- 203
Модели, обученные на нём
- VertexResearch/Vertex-0.6-35M-BaseГенерация текста 193
- RikkaBotan/LR-AttnRes-BERT-tinyЗаполнение пропусков 178
- OliverSundaram/MoE-Study-RemasteredГенерация текста 29
- ProCreations/boopit-1-chatГенерация текста 9
- ProCreations/booper-pretrain 0
- ProCreations/booper-chatГенерация текста 0
- Sarthak1134/MAVERIKimage text to video 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/Ultra-FineWeb-L1")