К содержимому

Датасет · MC7ever

Сборный мультимодальный корпус из 92 тыс. датасетов HF

MC7ever/hf-training-corpus

Масштабная выгрузка текстов, картинок, аудио и видео из открытых наборов данных в едином формате parquet.

Что внутри

Мета-датасет объёмом от 1 до 10 миллионов записей на английском языке, собранный путём автоматического обхода около 92 000 датасетов с Hugging Face. Внутри нормализованы и упакованы в файлы parquet разные модальности: тексты, изображения (PNG), аудио (WAV) и видеофрагменты, а также табличные данные, переведённые в текст.

Что можно сделать

  • Предобучение (pretrain) мультимодальных фундаментальных моделей на разнородных данных
  • Создание универсальных пайплайнов для обучения моделей генерации текста, распознавания речи (ASR) и анализа изображений
Задачи
Генерация текста, Картинка → текст, Распознавание речи
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
26,8 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("MC7ever/hf-training-corpus")