К содержимому

Датасет · mit-han-lab

Резервная копия валидационной выборки The Pile

mit-han-lab/pile-val-backup

Бэкап валидационной части текстового корпуса The Pile для оценки языковых моделей.

Что внутри

Внутри находятся тексты из валидационной выборки знаменитого корпуса The Pile (исходно файл val.jsonl.zst с ресурса the-eye.eu). Объём данных составляет от 100 тысяч до 1 миллиона записей. В карточке упоминается необходимость соблюдать оригинальную лицензию датасета.

Что можно сделать

  • Расчёт перплексии (perplexity) и оценка качества языковых моделей
  • Калибровка при квантовании (quantization) и прунинге LLM
Размер
100K–1M записей
Скачиваний за месяц
19,9 тыс.
Лайков
27

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mit-han-lab/pile-val-backup")