tell-fit-clip
проверка соответствия заголовка и фото в браузере
2 мин чтенияобновлено
Модель определяет, действительно ли текстовый заголовок описывает прикреплённую к нему фотографию, и выдаёт вероятность несоответствия. В основе лежит связка из энкодера изображений openai/clip-vit-base-patch32 и мультиязычного текстового энкодера DistilBERT от sentence-transformers, переведённая в формат ONNX для запуска прямо на стороне клиента через ONNX Runtime Web. От обычных CLIP-моделей решение отличается квантованием весов до 8 бит (INT8) для компактного хранения в браузере и встроенной логистической калибровкой косинусного сходства. Инструмент пригодится разработчикам новостных агрегаторов, систем модерации контента и веб-приложений, где нужно отсеивать нерелевантные подписи к картинкам без нагрузки на сервер.
Ключевые особенности
- Поддержка более 50 языков (включая английский и хинди) благодаря мультиязычному энкодеру DistilBERT и словарю WordPiece.
- Полностью клиентский инференс в браузере с помощью ONNX Runtime Web без необходимости отправлять фото на бэкенд.
- Компактное хранение весов в формате INT8 (с масштабированием на выходной канал) и обратным преобразованием во float32 при загрузке.
- Откалиброванная оценка: косинусное сходство эмбеддингов пропускается через логистическую кривую из
calibration.jsonдля расчёта вероятности ошибки.
Что можно сделать
- Встроить автоматическую проверку соответствия заголовков и иллюстраций в редактор новостей или систему премодерации веб-портала.
- Запускать клиентский скрининг кликбейтных или ошибочных подписей к фотографиям прямо в браузере пользователя через ONNX Runtime Web.
Пример
В карточке приведена схема пайплайна инференса: изображение размером [n, 3, 224, 224] подаётся в fit_image_int8.onnx, а токенизированный текст (input_ids, attention_mask) — в fit_text_int8.onnx. Обе модели возвращают нормализованные векторы размерностью [n, 512], после чего их косинусное сходство переводится в вероятность несоответствия заголовка по параметрам из calibration.json.
Подробнее
На бенчмарке Tell (50 фотографий с верным и случайным заголовками) 8-битная ONNX-версия совпадает по ранжированию с оригиналом на PyTorch во всех 50 случаях (разница косинусного сходства не более 0.011).Метрика ROC AUC составляет 0.940 против 0.942 у полноразмерных моделей.
Ограничение: модель оценивает только визуальное соответствие сцены словам и не способна распознать правдоподобный, но фактически неверный заголовок (например, с ошибкой в месте или дате события).
Лицензии компонентов: MIT для
openai/clip-vit-base-patch32 и Apache 2.0 для clip-ViT-B-32-multilingual-v1.









Комментарии