Датасет · Loie
Аудиовизуальный датасет звуков с YouTube
Loie/VGGSound
Короткие аудиоклипы из видео на YouTube по более чем 310 классам для распознавания звуков.
Что внутри
В основе датасета лежат более 200 тысяч коротких аудиофрагментов, извлечённых из роликов на YouTube и охватывающих свыше 310 классов реальных звуков и шумов окружающей среды. В текущем репозитории на Hugging Face отражено менее 1 тысячи записей с модальностью изображений, хотя оригинальный корпус VGGSound от Оксфордского университета гораздо шире.
Что можно сделать
- Обучение моделей классификации звуков и акустических событий
- Тестирование аудиоклассификаторов в условиях реальных шумов
- Мультимодальное сопоставление звука и видеоряда
- Задачи
- Классификация аудио
- Размер
- до 1K записей
- Скачиваний за месяц
- 7,3 тыс.
- Лайков
- 58
Модели, обученные на нём
- DAMO-NLP-SG/VideoLLaMA2.1-7B-AVВопросы по картинкам 509
- Hguimaraes/biome_edge_bioЭмбеддинги 25
- lym0302/VideoLLaMA2.1-7B-AV-CoTВопросы по картинкам 18
- Hguimaraes/biome_small_bioЭмбеддинги 16
- ai-forever/kandinsky-4-v2a 13
- Hguimaraes/biome_base_bioЭмбеддинги 13
- lym0302/VideoLLaMA2.1-7B-AV-QAВопросы по картинкам 9
- Cactooz/DeepMMAudioВидео + текст 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("Loie/VGGSound")