Датасет · NeelNanda
Первые 10 тысяч текстов из корпуса The Pile для отладки
NeelNanda/pile-10k
Компактная выборка из первых 10 000 документов известного текстового датасета The Pile для быстрых тестов.
Что внутри
Небольшой текстовый датасет, содержащий первые 10 000 элементов из известного открытого корпуса The Pile. Подготовлен Нилом Нандой специально для быстрой отладки и проверки моделей, обучаемых на полном The Pile, без необходимости скачивать весь массив данных.
Что можно сделать
- Быстрая отладка пайплайнов обучения и оценки языковых моделей
- Проверка перплексии и поведения моделей на эталонном распределении текстов из The Pile
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 45,7 тыс.
- Лайков
- 37
Модели, обученные на нём
- derikn/Qwen3.8-27B-AWQ-INT4Картинка + текст 1,5 тыс.
- OPEA/Mistral-Small-3.1-24B-Instruct-2503-int4-AutoRound-awq-sym 1,4 тыс.
- OPEA/Qwen2.5-0.5B-Instruct-int4-sym-inc 1,3 тыс.
- derikn/Granite-4.2-30B-AWQ-INT4Генерация текста 667
- bartowski/phi3-4x4b-v1-GGUFГенерация текста 485
- derikn/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-AWQ-INT4Картинка + текст 386
- mradermacher/phi3-4x4b-v1-GGUF 368
- Intel/gemma-4-31B-it-gguf-q4-k-m-AutoRoundКартинка + текст 309
Как загрузить
from datasets import load_dataset
ds = load_dataset("NeelNanda/pile-10k")