Датасет · openbmb
Очищенный веб-корпус Ultra-FineWeb-L3
openbmb/Ultra-FineWeb-L3
Высококачественные англо- и китайскоязычные веб-тексты L3 с усиленными сигналами рассуждения для обучения LLM.
Что внутри
Ultra-FineWeb-L3 — это L3-уровень очистки общих высококачественных веб-данных в рамках многоуровневой системы UltraData (L0–L4). Данные получены из ценных веб-корпусов и преобразованы в структурированный, лучше усваиваемый обучающий материал с более ясными сигналами reasoning и образовательным содержанием. Языки — английский и китайский; размер в метаданных — 1B–10B.
Что можно сделать
- Предобучение или continued pretraining LLM на очищенном веб-корпусе
- Дообучение модели на англо-китайских образовательных текстах
- Создание high-quality SFT-данных с reasoning-сигналами
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 20,3 тыс.
- Лайков
- 346
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/Ultra-FineWeb-L3")