Tell v2
детектор фотомонтажа и фейковых заголовков
2 min readupdated
Компактная мультимодальная модель на 106,9 млн параметров от разработчика maosama0001 для фактчекинга и модерации контента. Она анализирует связку «картинка + заголовок», оценивает вероятность манипуляций и подсвечивает тепловой картой (heatmap) подозрительные области на снимке. В отличие от первой версии, Tell v2 обучалась с синтетическими правками, подменёнными заголовками и отбрасыванием текста (caption dropout), чтобы меньше полагаться на стиль подписи и лучше держать стресс-тесты. Подойдёт исследователям в области image forensics (криминалистики изображений) и как вспомогательный инструмент для первичной проверки постов.
Ключевые особенности
- Устойчивость к уловкам: по сравнению с прошлой версией макро-F1 на стресс-тесте с синтетическими правками и подменой текста вырос с 0,27 до 0,614.
- Тепловая карта правок: модель строит карту по абсолютной шкале от 0 до 1, поэтому чистые снимки не «растягиваются» искусственно до подозрительных.
- Высокая скорость: медианная задержка обработки одного поста на видеокарте T4 (batch 1) составляет всего 17,1 мс.
- Локальная приватность: в комплекте идёт приложение на Gradio, которое работает только локально (127.0.0.1), не ведёт логов и очищает временные файлы каждые 5 минут.
Что можно сделать
- Скрининг постов при модерации: ранжировать англоязычные новостные посты по вероятности фотомонтажа (склейки и копирования фрагментов) перед ручной проверкой редактором.
- Учебные и научные эксперименты: исследовать уязвимости мультимодальных детекторов дезинформации — например, влияние сжатия JPEG или коротких шуточных заголовков на вердикт нейросети.
Пример
В карточке описан сценарий работы через встроенное локальное веб-приложение на Gradio: пользователь загружает изображение (до 15 МБ и 40 мегапикселей) и заголовок поста на английском языке. На выходе модель выдаёт вероятности трёх классов (оригинал, манипуляция, ложная связь с подписью), тепловую карту потенциальных правок и предупреждение, если слишком короткий заголовок может исказить оценку.
Подробнее
Метрики Tell v2: macro F1 0,811 (accuracy 0,814) на основном тесте; на стресс-тесте находит 80% склеек (splices), 50% copy-move правок и 48% подменённых заголовков.Обучение: датасеты Fakeddit (англоязычный Reddit, 2008–2019) и CASIA v2.0; всего 106,9M параметров, из них 31,8M обучаемых.
Ограничения: работает только с английским текстом; не обучена на видео и ИИ-генерации; сжатие JPEG (качество 30) снижает F1 до 0,790, а шуточные заголовки на реальных фото могут вызывать ложные срабатывания.










Comments