PRISM

PRISM — лёгкий входной монитор для VLM. Репозиторий EdwardoSunny содержит обучаемые головы поверх замороженных энкодеров: модель предсказывает, нужно ли для безопасного ответа на пару «изображение + запрос» знать персональный контекст пользователя. Метод описан в статье COLM 2026.

🧩 Ключевые особенности

• 🛑 До ответа VLM проверяет пару «изображение + запрос» и оценивает, нужен ли персональный контекст для безопасного ответа.
• 🧩 Если контекст нужен, запрос предлагается отложить: запросить или подтянуть данные пользователя вместо шаблонного ответа.
• ⚙ Использует замороженные эмбеддинги изображения и текста от готового энкодера и Bi-FiLM для кросс-модального слияния.
• 🩻 В репозитории только обучаемые головы; сами энкодеры скачиваются отдельно.
• 🎯 Есть конфиги под SigLIP2, CLIP и EVA-CLIP.

⚙ Пример

from model import PRISMPredictor, load_image

prism = PRISMPredictor('default')
p_defer = prism.predict([load_image('photo.jpg')], ['Should I try this tonight?'])
print(p_defer[0])  # defer if >= 0.5

Подробнее

Три конфига: SigLIP2, CLIP и EVA-CLIP.
Порог отложенного ответа — 0.5.
Репозиторий содержит только обучаемые головы, энкодеры замораживаются и качаются отдельно.
Лицензия MIT; статья COLM 2026.