К содержимому

Датасет · KangLiao

Мультимодальный датасет с привязкой к параметрам камеры

KangLiao/Puffin-4M

Масштабный набор изображений и текстов с геометрией камеры для пространственного ИИ.

Что внутри

Внутри находятся изображения и тексты, объединенные с параметрами камеры для обучения пространственному пониманию и генерации. Объём данных составляет от 1 до 10 миллиардов записей (в названии указано 4M). Датасет создан авторами проекта Thinking with Camera специально для закрытия дефицита данных на стыке зрения, языка и геометрии камеры.

Что можно сделать

  • Обучение мультимодальных моделей понимать пространственную геометрию и ракурс камеры
  • Дообучение генераторов изображений и 3D-сцен с точным контролем положения камеры
  • Бенчмаркинг пространственного интеллекта у VLM-моделей
Задачи
Текст → картинка, Картинка → текст, Картинка → 3D, Картинка → картинка
Размер
1B–10B записей
Скачиваний за месяц
15,3 тыс.
Лайков
35

Как загрузить

from datasets import load_dataset

ds = load_dataset("KangLiao/Puffin-4M")