Датасет · HuggingFaceTB
Крупный англоязычный корпус Cosmopedia
HuggingFaceTB/cosmopedia
Большой англоязычный текстовый корпус для обучения и дообучения языковых моделей.
Что внутри
Cosmopedia v0.1 — крупный текстовый корпус на английском языке объёмом от 10 до 100 млн примеров. В карточке указано, что промпты для иллюстраций генерировала Mixtral-8x7B-Instruct-v0.1, а изображения — DALL-E. Доступна версия v0.2 в smollm-corpus; формат — text.
Что можно сделать
- Предобучение или continued pretraining небольшой языковой модели
- Дообучение LoRA для генерации английского текста
- Проверка пайплайна подготовки больших текстовых корпусов
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 26,4 тыс.
- Лайков
- 773
Модели, обученные на нём
- mradermacher/Mistral-7B-Instruct-KhanAcademy-v0.2-i1-GGUF 3,6 тыс.
- mradermacher/SpydazWeb_AI_LCARS_Humanization_003-i1-GGUF 2,6 тыс.
- DeepMount00/Alireo-400m-instruct-v0.1Генерация текста 2,2 тыс.
- mradermacher/Mixtral_AI_CyberTron_Ultra-GGUF 2,1 тыс.
- bartowski/YuLan-Mini-GGUFГенерация текста 1,9 тыс.
- MinimaLabs/KLM-1.5Генерация текста 1,5 тыс.
- QuantFactory/Qwen1.5-MoE-A2.7B-Wikihow-GGUFГенерация текста 1,5 тыс.
- nkthebass/tinybrainbot-3m-loopГенерация текста 1,4 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/cosmopedia")