LocateAnything-3B
точное определение объектов на изображениях по тексту
2 мин чтенияобновлено
Модель для задачи object-detection (обнаружение объектов) решает задачу поиска конкретных элементов на картинке по текстовому запросу. Она принимает изображение и текстовую инструкцию, после чего возвращает координаты найденных областей в специальном формате. Разработка основана на репликации модели от nvidia и использует библиотеку transformers с размером около 3.83 миллиардов параметров. Инструмент пригодится разработчикам и исследователям, которым нужно автоматически находить объекты, лица или детали на визуальных материалах с помощью текстовых подсказок.
Ключевые особенности
- Полная совместимость с современными версиями библиотеки transformers
- Поддержка текстовых запросов на поиск произвольных объектов на изображении
- Вывод координат найденных областей в структурированном виде
- Работа с изображениями через стандартные процессор и модель из экосистемы Hugging Face
Что можно сделать
- Интегрировать модель в пайплайны компьютерного зрения для разметки и поиска объектов
- Применить для автоматического поиска конкретных деталей или частей на пользовательских фотографиях
- Использовать в качестве основы для визуальных ассистентов и мультимодальных систем
Пример
import argparse
from pathlib import Path
import torch
from PIL import Image
from transformers import AutoModel, AutoProcessor
repo_id = 'SD-Next/LocateAnything-3B'
processor = AutoProcessor.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModel.from_pretrained(repo_id, trust_remote_code=True, torch_dtype="auto", device_map="auto").eval()
image = Image.open("image.png").convert("RGB")
messages = [{
"role": "user",
"content": [
{"type": "image", "image": image},
{"type": "text", "text": "locate hands and face"}
]
}]
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(images=image, text=text, return_tensors="pt").to(model.device)
with torch.inference_mode():
output = model.generate(**inputs, max_new_tokens=128, do_sample=False)
decoded = processor.batch_decode(output[:, inputs["input_ids"].shape[1]:], skip_special_tokens=False)
print(decoded[0])
Подробнее
Задача: object-detectionБазовая модель: nvidia/LocateAnything-3B
Объем параметров: 3.83B
Библиотека: transformers










Комментарии