Датасет · openbmb
Крупный отфильтрованный веб-корпус en/zh
openbmb/Ultra-FineWeb
1–10 млрд текстов на английском и китайском после пайплайна проверки качества.
Что внутри
Крупный текстовый корпус на английском и китайском, отфильтрованный эффективным пайплайном с проверкой качества. Собран из FineWeb и Chinese FineWeb; среди исходных данных указаны IndustryCorpus2, MiChao, WuDao, SkyPile и другие. По метаданным объём — от 1 до 10 млрд примеров.
Что можно сделать
- Предобучение языковой модели на en/zh
- Continued pretraining с чистым веб-текстом
- Оценка пайплайнов фильтрации данных
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 53,2 тыс.
- Лайков
- 464
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/Ultra-FineWeb")