Датасет · Skywork
Крупный китайский веб-корпус для LLM
Skywork/SkyPile-150B
Большой китайский датасет веб-текстов с фильтрацией и дедупликацией для предобучения языковых моделей.
Что внутри
SkyPile-150B — масштабный китайский набор текстов, собранный из общедоступных веб-страниц. Авторы применили строгую фильтрацию, дедупликацию и удаление чувствительных данных, а также fastText и BERT для отсева низкокачественного контента. По метаданным размер составляет от 1 до 10 млн записей; точный объём в приведённом фрагменте не указан.
Что можно сделать
- Предобучение китайской LLM
- Дообучение модели на китайских веб-текстах
- Оценка пайплайнов фильтрации и дедупликации
- Задачи
- Генерация текста
- Языки
- Китайский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 26,3 тыс.
- Лайков
- 421
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Skywork/SkyPile-150B")