К содержимому

Датасет · NeelNanda

Первые 10 тысяч текстов из корпуса The Pile для отладки

NeelNanda/pile-10k

Компактная выборка из первых 10 000 документов известного текстового датасета The Pile для быстрых тестов.

Что внутри

Небольшой текстовый датасет, содержащий первые 10 000 элементов из известного открытого корпуса The Pile. Подготовлен Нилом Нандой специально для быстрой отладки и проверки моделей, обучаемых на полном The Pile, без необходимости скачивать весь массив данных.

Что можно сделать

  • Быстрая отладка пайплайнов обучения и оценки языковых моделей
  • Проверка перплексии и поведения моделей на эталонном распределении текстов из The Pile
Размер
10K–100K записей
Скачиваний за месяц
45,7 тыс.
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("NeelNanda/pile-10k")