Датасет · JeanKaddour
MiniPile: компактный Pile
JeanKaddour/minipile
6 ГБ очищенного английского текста из The Pile для обучения моделей в условиях малых данных.
Что внутри
Англоязычный текстовый корпус объёмом около 6 ГБ. Это подвыборка дедуплицированного The Pile, отфильтрованная по эмбеддингам: документы кластеризованы k-means, низкокачественные кластеры удалены. Создан для проверки моделей в условиях малых данных.
Что можно сделать
- Обучение data-efficient LM
- Бенчмарк sample efficiency
- Претрейн небольшой модели на чистом Pile-подобном корпусе
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,7 тыс.
- Лайков
- 155
Модели, обученные на нём
- BEE-spoke-data/smol_llama-101M-GQAГенерация текста 1,4 тыс.
- afrideva/TinyMistral-248M-GGUFГенерация текста 1,1 тыс.
- BEE-spoke-data/smol_llama-220M-GQAГенерация текста 1 тыс.
- bartowski/HelpingAI2-9B-GGUFГенерация текста 857
- mradermacher/Llama-3-5B-Sheard-GGUF 821
- HelpingAI/HelpingAI2-6BГенерация текста 811
- mradermacher/llama3-42b-v0-i1-GGUF 808
- HelpingAI/HelpingAI2-9BГенерация текста 790
Как загрузить
from datasets import load_dataset
ds = load_dataset("JeanKaddour/minipile")