Датасет · mit-han-lab
Резервная копия валидационной выборки The Pile
mit-han-lab/pile-val-backup
Бэкап валидационной части текстового корпуса The Pile для оценки языковых моделей.
Что внутри
Внутри находятся тексты из валидационной выборки знаменитого корпуса The Pile (исходно файл val.jsonl.zst с ресурса the-eye.eu). Объём данных составляет от 100 тысяч до 1 миллиона записей. В карточке упоминается необходимость соблюдать оригинальную лицензию датасета.
Что можно сделать
- Расчёт перплексии (perplexity) и оценка качества языковых моделей
- Калибровка при квантовании (quantization) и прунинге LLM
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 19,9 тыс.
- Лайков
- 27
Модели, обученные на нём
- lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4Картинка + текст 345
- mratsim/GLM-4-32B-0414.w4a16-gptqГенерация текста 117
- Intics/gemma-4-26B-A4B-IT-Int8 90
- EliovpAI/clef-MXFP4Картинка + текст 66
- BioMistral/BioMistral-7B-AWQ-QGS128-W4-GEMMГенерация текста 63
- BioMistral/BioMistral-7B-AWQ-QGS128-W4-GEMVГенерация текста 28
- mratsim/Seed-OSS-36B-Instruct-NVFP4Генерация текста 25
- adlik/Qwen3-32B-AWQ-PileГенерация текста 17
Как загрузить
from datasets import load_dataset
ds = load_dataset("mit-han-lab/pile-val-backup")