PRISM
монитор, который решает, когда VLM стоит переспросить
1 min read
PRISM — лёгкий входной монитор для VLM. Репозиторий EdwardoSunny содержит обучаемые головы поверх замороженных энкодеров: модель предсказывает, нужно ли для безопасного ответа на пару «изображение + запрос» знать персональный контекст пользователя. Метод описан в статье COLM 2026.
Ключевые особенности
- До ответа VLM проверяет пару «изображение + запрос» и оценивает, нужен ли персональный контекст для безопасного ответа.
- Если контекст нужен, запрос предлагается отложить: запросить или подтянуть данные пользователя вместо шаблонного ответа.
- Использует замороженные эмбеддинги изображения и текста от готового энкодера и Bi-FiLM для кросс-модального слияния.
- В репозитории только обучаемые головы; сами энкодеры скачиваются отдельно.
- Есть конфиги под SigLIP2, CLIP и EVA-CLIP.
Пример
from model import PRISMPredictor, load_image
prism = PRISMPredictor('default')
p_defer = prism.predict([load_image('photo.jpg')], ['Should I try this tonight?'])
print(p_defer[0]) # defer if >= 0.5
Подробнее
Три конфига: SigLIP2, CLIP и EVA-CLIP.Порог отложенного ответа — 0.5.
Репозиторий содержит только обучаемые головы, энкодеры замораживаются и качаются отдельно.
Лицензия MIT; статья COLM 2026.










Comments