Robot Task Observer

Это LoRA-адаптер от FEGE16 для Qwen3-VL-4B-Instruct, часть фреймворка Robot Task Observer VLM-assisted VLA. Он получает глобальную инструкцию задачи и упорядоченную историю изображений сцены и запястья, а на выходе даёт короткое английское описание текущего действия, объекта, цели и связи — или UNKNOWN, если ситуация неясна.

⚙ Ключевые особенности

• 👀 Работает с историей до восьми временных точек; в каждой — изображения 224×224 сцены и запястья.
• 🧩 Учитывает глобальную инструкцию задачи, а не только текущий кадр.
• 💭 Возвращает компактное описание: действие, объект, цель и отношение между ними.
• 🛑 При неоднозначности выдаёт UNKNOWN, а не пытается угадать.
• ⚡ Загружается как PEFT-адаптер поверх базовой Qwen3-VL-4B-Instruct.

🔎 Пример

import torch
from transformers import AutoProcessor, Qwen3VLForConditionalGeneration
from peft import PeftModel

BASE_ID = 'Qwen/Qwen3-VL-4B-Instruct'
processor = AutoProcessor.from_pretrained(BASE_ID)
base = Qwen3VLForConditionalGeneration.from_pretrained(BASE_ID, dtype=torch.bfloat16, device_map='auto')
model = PeftModel.from_pretrained(base, 'FEGE16/robot-task-observer-subtask-recognition-history').eval()

Подробнее

Бенчмарков в карточке нет.
Нужен GPU с поддержкой bfloat16; используются PyTorch, Transformers с поддержкой Qwen3-VL, PEFT и Accelerate.
Вход — до 8 временных точек с изображениями 224×224 сцены и запястья; выход — короткое описание на английском или UNKNOWN.
Лицензия Apache 2.0.