SEL Qwen 4B
точечный поиск ответа в тексте и на картинках за один проход
2 мин чтенияобновлено
Модель SEL Qwen 4B от команды spock-oss решает задачу точной локализации ответа: по заданному вопросу она оценивает фрагменты текста или области изображения и возвращает оценки релевантности с точными координатами — смещениями символов (character offsets) для текста и координатами патчей для картинок. Релиз построен на базе мультимодальной модели Qwen 3.5 4B и включает LoRA (небольшую обучаемую надстройку ранга 16 над языковой основой) вместе со специальной головой отбора (selection head). В отличие от обычных генеративных моделей, SEL не пересказывает ответ словами, а за один прямой проход через нейросеть подсвечивает нужные участки исходных данных, используя двунаправленное внимание в восьми полных слоях. Пригодится разработчикам RAG-систем, систем извлечения данных из документов и мультимодального поиска, где критичны скорость и точная привязка к источнику.
Ключевые особенности
- Работает с текстом и изображениями: оценивает релевантность исходных токенов или патчей картинки под конкретный запрос.
- Один прямой проход (backbone pass): возвращает готовые скоры и координаты без медленной авторегрессионной генерации текста.
- Архитектурная доработка Qwen 3.5 4B: LoRA адаптирует языковой бэкбон с двунаправленным вниманием в 8 full-attention слоях (визуальный энкодер и эмбеддинги заморожены).
- Открытые лицензии: веса адаптера и головы отбора распространяются под лицензией MIT, а базовая модель Qwen 3.5 4B — под Apache 2.0.
Что можно сделать
- Подсветка цитат в RAG и юридических документах: находить точные границы фрагментов в договорах и текстах с указанием позиций символов.
- Локализация объектов и областей на скриншотах: передавать изображение через флаг
--imageи получать координаты нужных патчей по текстовому вопросу. - Масштабирование под задачи: использовать компактную версию 4B для локальных пайплайнов или перейти на старший чекпоинт
sel-qwen-27bиз того же релиза.
Пример
hf download spock-oss/sel-qwen-4b --local-dir ./sel-qwen-4b
CUDA_VISIBLE_DEVICES=0 python ./sel-qwen-4b/run_selection.py \
--text 'This agreement is governed by the laws of Oregon.' \
--query 'Which state governs this agreement?'
Подробнее
Метрики на тесте (2 605 примеров, 26 задач): общий Test macro F1 — 60.85%, по тексту — 59.03%, по изображениям — 62.42%, равновзвешенный по задачам Test F1 — 65.03%.Калиброванные пороги отсечения по умолчанию: 0.10 для текста и 0.40 для изображений (настраиваются через
--threshold).Требования и ограничения: Linux, Python 3.12, видеокарта NVIDIA (CUDA) с поддержкой BF16 и FlashAttention 2; референсный скрипт принимает до 2 048 входных токенов (включая запрос и визуальные токены).










Комментарии