ДругоеDMoreQ
owl-int4
INT4-биэнкодер для поиска дублей кода
1 мин чтенияобновлено
Это INT4-квантованный ModernBERT-base bi-encoder для обнаружения дубликатов кода. Работает полностью локально через engram-judge: без Python, сети и демона. Размер на диске — 85,4 МБ; модель основана на публичном Shuu12121/CodeCloneDetection-ModernBERT-Owl.
✅ Ключевые особенности
- ✅ INT4 group-64: два знаковых полубайта на байт и отдельные scale для каждой группы.
- ⬇ Компактный файл: 85,4 МБ на диске.
- 💥 BigCloneBench F1 — 0.9592; у F32 baseline — 0.9618 (Δ -0.0026).
- 🦾 Косинус эмбеддингов к F32 — 0.9569.
- 😎 p50-задержка: 40 мс на короткой паре, 133 мс на длине BigCloneBench (Apple Metal).
💥 Пример
export EG_JUDGE_MODEL=/path/to/owl-int4
eg-judge similarity --text-a "$A" --text-b "$B"Подробнее
BigCloneBench F1: 0.9592; косинус к F32 — 0.9569.Задержка p50: 40 мс на короткой паре, 133 мс на длине BigCloneBench (Apple Metal); пиковый RSS ~1.6 ГБ.
Ограничения: near-miss пары с разницей в один оператор — F1 0.7139; BigCloneBench на Java, Python/Rust/TypeScript не измерялись.
INT4 уменьшает файл, но не арифметику: инференс идёт в де-квантованном F16.
Комментарии