OWAC J5 RAW Encoder

OWAC J5 RAW Encoder — self-supervised визуальный энкодер для линейного трёхканального pseudo-RAW, обученный проектом OWAC. Это исходный J5 EMA-энкодер, сохранённый на шаге 12 818; им инициализируют последующие C1-политики, это не policy-файнтюн C1/D17 и не D20-энкодер для скалярных измерений. Архитектура ViT-S/16: ширина 384, 12 слоёв, 6 голов внимания и 4 register tokens.

🧐 Ключевые особенности

• 🤖 Использует архитектуру Transformers DINOv3 ViT, но без загрузки предобученных весов DINOv3.
• 🔥 Learned radiometric response переводит 3 входных канала в 9: исходную величину, asinh-сжатую реакцию и относительную реакцию каналов.
• 👀 На выходе CLS-признаки [B, 384] и patch-признаки [B, H/16 × W/16, 384]; при 256×256 это 256 патчей, четыре register tokens исключены.
• 🚀 Обучение сочетает DINO/iBOT-style self-supervision, согласованность экспозиции, пространственные отношения, разнообразие признаков и soft correspondence прошлых кадров.
• ⛔ Без RGB-учителя, внешних предобученных визуальных весов, action- и language-меток; при развёртывании используется один кадр.

🚀 Пример

from safetensors.torch import load_file
from modeling_raw_encoder import RawEncoder
import json, torch
config = json.load(open('config.json'))
encoder = RawEncoder(config).eval()
encoder.load_state_dict(load_file('model.safetensors'), strict=True)
with torch.inference_mode():
    cls_features, patch_features = encoder(raw)

Подробнее

Обучение остановлено на 12 818 из планируемых 30 000 шагов J5.
Вход — float [B, 3, H, W] линейного pseudo-RAW; стандарт 256×256, patch 16. Масштаб зависит от датасета: LIBERO /255, RoboTwin — напрямую.
Это симулированный трёхканальный pseudo-RAW, не нативный mono/Bayer; интерфейс D20 10-bit mono/Bayer не реализован.
Отдельной визуальной оценки финального чекпоинта нет; энкодер сам не выдаёт действия. Лицензия на веса не заявлена.