Датасет · MC7ever
Сборный мультимодальный корпус из 92 тыс. датасетов HF
MC7ever/hf-training-corpus
Масштабная выгрузка текстов, картинок, аудио и видео из открытых наборов данных в едином формате parquet.
Что внутри
Мета-датасет объёмом от 1 до 10 миллионов записей на английском языке, собранный путём автоматического обхода около 92 000 датасетов с Hugging Face. Внутри нормализованы и упакованы в файлы parquet разные модальности: тексты, изображения (PNG), аудио (WAV) и видеофрагменты, а также табличные данные, переведённые в текст.
Что можно сделать
- Предобучение (pretrain) мультимодальных фундаментальных моделей на разнородных данных
- Создание универсальных пайплайнов для обучения моделей генерации текста, распознавания речи (ASR) и анализа изображений
- Задачи
- Генерация текста, Картинка → текст, Распознавание речи
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 26,8 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("MC7ever/hf-training-corpus")