SEL Qwen 9B
точный поиск релевантных фрагментов в тексте и на картинках
2 мин чтенияобновлено
SEL Qwen 9B — это адаптер для мультимодальной модели Qwen3.5-9B от автора spock-oss, который решает задачу точечной выборки информации. Вы передаёте модели вопрос, а также текст, изображение или оба источника сразу, и на выходе получаете оценки релевантности для каждого исходного токена текста и патча картинки. В отличие от обычной генерации ответа, модель работает за один прямой проход (forward pass) через специальную плотную голову выборки (dense selection head). В релиз входят LoRA-адаптер (небольшая надстройка над базовой моделью) ранга 32 и обученная голова, а сама языковая основа при загрузке квантуется в NF4. Инструмент пригодится разработчикам RAG-систем и пайплайнов для точного выделения ответов в документах и визуальных данных.
Ключевые особенности
- Один прямой проход: вычисляет релевантность всех фрагментов сразу без медленной авторегрессионной генерации текста.
- Мультимодальный анализ: поддерживает как текстовые файлы, так и изображения или их комбинацию, оценивая отдельные визуальные патчи.
- Гибридное внимание: 8 слоёв полного внимания (full-attention) в модели сделаны двунаправленными, а остальные 24 слоя gated delta остаются направленными.
- Экономия памяти при загрузке: замороженная языковая база переводится в формат NF4, тогда как визуальный энкодер сохраняет точность BF16.
Что можно сделать
- Улучшить RAG и поиск по документам: использовать модель для точного извлечения релевантных предложений и пунктов из договоров или баз знаний под конкретный запрос.
- Выделять нужные области на изображениях: находить конкретные визуальные фрагменты на скриншотах, сканах или фотографиях по текстовому вопросу.
- Настраивать полноту выборки под задачу: регулировать порог отсечения через флаг
--threshold(по умолчанию 0.4 для текста и 0.3 для картинок), чтобы получать более узкий или широкий контекст.
Пример
hf download spock-oss/sel-qwen-9b --local-dir ./sel-qwen-9b
CUDA_VISIBLE_DEVICES=0 sel predict --weights ./sel-qwen-9b \
--text 'This agreement is governed by the laws of Oregon.' \
--query 'Which state governs the agreement?'Подробнее
Метрики: 77.6% Mean F1 (task-macro) на тесте Run09 (3 136 примеров), 75.3% на галерее из 26 задач и 79.9% на дополнительных источниках разработки.Железо и лимиты: требуется одна видеокарта NVIDIA с поддержкой BF16; максимальная длина последовательности — 2 048 токенов (включая вопрос и визуальные патчи).
Обучение: 88.65M обучаемых параметров (LoRA + dense head), 2 эпохи на 43.09M входных токенов.
Семейство: в релизе также доступны версии на 0.8B, 4B и 27B параметров.










Комментарии