Датасет · KangLiao
Мультимодальный датасет с привязкой к параметрам камеры
KangLiao/Puffin-4M
Масштабный набор изображений и текстов с геометрией камеры для пространственного ИИ.
Что внутри
Внутри находятся изображения и тексты, объединенные с параметрами камеры для обучения пространственному пониманию и генерации. Объём данных составляет от 1 до 10 миллиардов записей (в названии указано 4M). Датасет создан авторами проекта Thinking with Camera специально для закрытия дефицита данных на стыке зрения, языка и геометрии камеры.
Что можно сделать
- Обучение мультимодальных моделей понимать пространственную геометрию и ракурс камеры
- Дообучение генераторов изображений и 3D-сцен с точным контролем положения камеры
- Бенчмаркинг пространственного интеллекта у VLM-моделей
- Задачи
- Текст → картинка, Картинка → текст, Картинка → 3D, Картинка → картинка
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 15,3 тыс.
- Лайков
- 35
Как загрузить
from datasets import load_dataset
ds = load_dataset("KangLiao/Puffin-4M")