CoVT-Qwen3.5-4B

Полный one-epoch SFT официальной post-trained Qwen3.5-4B от jeix. Модель на 4,57B принимает изображения и текст, а Physical Adapter добавляет признаки физических отношений из кадров. Совместно обучались native vision encoder, language model, tied LM head и сам адаптер.

🔍 Ключевые особенности

• 🧠 Обучение без LoRA: обновлялись vision-часть, языковая модель, LM head и Physical Adapter.
• 👀 Адаптер читает causal relation tokens из замороженных DINOv3 и PSM: пять факторов по восемь 256-мерных токенов на подходящий view.
• 🔗 Gated cross-attention обновляет hidden states image-токенов после native token mixer и перед FFN; без надёжной истории вклад ровно нулевой.
• 🗂 595 906 строк за один epoch и 2 328 optimizer updates; в смеси CoT, relation-QA, Action Genome, RoboCasa и другие данные.
• 💾 BF16-веса, около 9,15 ГБ тензоров; для инференса не нужны training framework или DeepSpeed, но требуется trust_remote_code=True.

🚀 Пример

python -m pip install huggingface-hub==1.33.0
hf download jeix/CoVT-Qwen3.5-4B-SFT595906 --local-dir ./model
python ./model/prepare_assets.py --model-dir ./model --assets-dir ./assets
python ./model/run_inference.py --model-dir ./model --assets-dir ./assets --input ./model/examples/input.json --device cpu --max-new-tokens 16

Подробнее

Тензоры весят ~9,15 ГБ, но это не весь объём RAM: добавьте DINOv3, активации, KV-кэш и overhead.
Заявленных бенчмарков и held-out accuracy нет; у релиза известен исторический overlap train/eval.
Языки — английский и китайский; DINOv3 не распространяется и имеет отдельную лицензию.