Датасет · DAMO-NLP-SG
Мультимодальный учебник из видео
DAMO-NLP-SG/multimodal_textbook
6,5 млн изображений и 0,8 млрд ASR-текстов из учебных видео для vision-language pretraining.
Что внутри
Multimodal-Textbook-6.5M — корпус для vision-language pretraining в формате чередующихся изображений и текста. Он содержит 6,5 млн ключевых кадров из учебных видео и 0,8 млрд ASR-текстов. Все изображения и текст извлечены из учебных видео.
Что можно сделать
- Предобучение vision-language модели
- Обучение мультимодального ассистента
- Эксперименты с interleaved image-text
- Задачи
- Генерация текста, Суммаризация
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 170
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("DAMO-NLP-SG/multimodal_textbook")