QEV-0.8B

QEV-0.8B от reneeice — модель на базе Qwen3.5-0.8B, которая принимает текст и изображения и за один forward pass возвращает вероятности для вариантов ответа, типизированный ответ и сигнал abstain. Это младшая версия семейства QEV, дистиллированная от учителя QEV 0.2.1.

📝 Ключевые особенности

• 🤓 Архитектура: Qwen3.5-0.8B (hidden size 1024, 24 слоя: 18 GatedDeltaNet + 6 full attention), замороженный Qwen3.5 ViT encoder.
• 😎 Вероятности вариантов читаются из hidden states токенов опций; 4 reasoning slots и result marker; один forward pass без генерации токенов.
• 👍 Fast mode: выход на 16-м слое из 24 через дистиллированный head exit16.safetensors, изображения до 0.26 MP.
• 📝 LoRA rank 8, alpha 16 на языковой модели плюс обученные readout и binding heads; веса отданы merged.
• 🤝 Есть per-type temperature calibration и abstain-порог; ответ сохраняется даже при выставленном флаге abstain.

🤓 Пример

from huggingface_hub import snapshot_download
import qev
from qev import DecisionRequest
path = snapshot_download("ken-jo/QEV-0.8B")
model = qev.QEV.load(path, device="cuda")
request = DecisionRequest.model_validate({...})
print(model.predict(request)["answers"])

Подробнее

Публичный vision index: 52.70 (self-scored; предыдущий релиз — 53.02). Shifted-distractor DEV: 88.64, original-format holdout: 85.15.
Скорость на RTX 4060 Ti 8 GB: accurate mode — p95 377.3 ms, median p50 66.0 ms, peak GPU 1.86 GiB; fast mode — 123.2 ms / 44.6 ms / 1.6 GiB.
Ограничения: публичные оценки self-scored, приватные неизвестны до пересчёта; часть бенчмарков ниже предыдущего релиза; аудит нашёл 52 изображения с возможным пересечением.