GainNet

GainNet от CopTain — набор весов, оценённых по данным fMRI. Модель получает одно предложение и возвращает скаляр от 0 до 1: вес, который мозг назначает предложению при описании краткой визуальной сцены. Есть полный ансамбль из 2700 сетей на 106,7 млн параметров и общая сеть всего на 1931 параметр.

🔥 Ключевые особенности

• 🔥 Полный ансамбль: по одной сети на каждую пару «участник — регион», всего 2700 сетей.
• 💻 Вход — 384-мерный эмбеддинг предложения из sentence-transformers/all-MiniLM-L12-v2, без нормализации.
• 📚 Общая сеть — gain-ветка упрощённой модели, обученная совместно по участникам и 600 региональным головам.
• 📷 Веса оценивались по fMRI: 30 участников, 21 600 двухсекундных видео и 66 270 предложений.
• ✔ Выход — один скаляр в (0, 1); внутри описания скаляры нормируются в сумму 1 и используются как веса для пулинга.

💻 Пример

Сценарий из карточки: предложение описывает короткий визуальный ролик. Его эмбеддинг подаётся в сеть, сеть возвращает скаляр; для нескольких предложений одного описания веса нормируются и применяются как mixture weights при пулинге эмбеддингов.

Подробнее

Held-out prediction: 0,0041 против 0,0007 у фиксированных весов (t = 18,9; P = 9,5 × 10⁻⁷⁵).
Retrieval: +2,29 п.п. на 19 538 сгенерированных описаниях; +1,68 п.п. на 45 619 описаниях COCO.
Ограничение: модель не генерирует текст, а только оценивает предложения; вход — эмбеддинги all-MiniLM-L12-v2. Лицензия весов — CC BY 4.0.