Depth Pro2-focal
оценщик фокусного расстояния от Apple
1 мин чтенияобновлено
Модель DepthPro2-focal представляет собой специализированный компонент из новой линейки Depth Pro 2 от Apple, предназначенный для предсказания фокусного расстояния в пикселях для отдельных фотографий и видеокадров. Скромный размер в 23.5M параметров позволяет быстро интегрировать оценку фокуса в пайплайны обработки изображений и видео. Модель помогает восстанавливать метрическую глубину и геометрию сцены даже в тех случаях, когда исходные метаданные кадра утеряны. Инструмент пригодится разработчикам компьютерного зрения, исследователям и создателям мультимедийных приложений, работающим с пространственным анализом.
Ключевые особенности
- Компактный размер: всего 23.5 миллиона параметров для быстрой работы.
- Специализация: точное определение фокусного расстояния в пикселях для фото и видео.
- Удобная интеграция: простой запуск через официальную библиотеку с поддержкой PyTorch и CUDA.
Что можно сделать
- Анализ кадров: встраивать оценку фокуса в видеопайплайны для обработки клипов покадрово.
- Обработка фото: восстанавливать фокусное расстояние для изображений без EXIF-данных.
- Исследовательские проекты: использовать компонент в задачах компьютерного зрения и восстановления глубины.
Пример
from functools import partial
import torch
from depth_pro_2 import load_rgb
from depth_pro_2.model import to_normalized_tensor
from depth_pro_2.network.fov import FOVEstimator
fov = FOVEstimator.from_pretrained("apple/DepthPro2-focal").to("cuda").eval()
transform = partial(to_normalized_tensor, device=torch.device("cuda"))
image, _ = load_rgb("photo.jpg")
with torch.no_grad():
f_px = fov.focal_length_px(transform(image)[None])
Подробнее
Параметры: 23.5MБиблиотека: depth-pro-2
Лицензия: Apple Machine Learning Research Model license (только для некоммерческих научных и академических исследований)










Комментарии