peshgi
быстрый мультимодальный классификатор на базе Qwen3.8-27B
3 min readupdated
peshgi от автора plantwaterer — это система для ответов на вопросы с вариантами выбора по изображениям, которая сразу возвращает вероятности для каждого варианта за один проход (forward pass), без медленной посимвольной генерации текста. В основе лежит взвешенное усреднение семи LoRA-адаптеров (небольших надстроек над весами) для языковой части Qwen/Qwen3.8-27B и линейная голова на 26 выходов, работающие в связке с детектором текста PP-OCRv5. Перед отправкой запроса OCR-модель считывает текст с картинки и добавляет его в промпт, а модифицированный механизм внимания в слоях full-attention позволяет всем токенам промпта видеть друг друга. Решение пригодится разработчикам, которым нужна высокая точность и предсказуемость в задачах VQA (визуальных вопросов и ответов), разборе документов, интерфейсов и пространственных сцен.
Ключевые особенности
- Гибридный пайплайн с OCR: встроенный мобильный
PP-OCRv5(~20 МБ) автоматически извлекает до 60 строк текста с изображения в оригинальном разрешении и подставляет их в промпт перед вопросом. - Мгновенный вывод без декодирования: специальная fp32-голова считывает скрытое состояние последнего токена и выдаёт логиты для вариантов от A до Z за один прямой проход в
bf16. - Усреднение семи LoRA (rank-16): адаптеры обучены на разных наборах визуальных задач — от подсчёта объектов и оценки глубины до чтения инфографики, мемов и уличных сцен.
- Некаузальное внимание в full-attention слоях: движок переопределяет стандартное внимание через PyTorch SDPA, сохраняя каузальность только в рекуррентных слоях Gated DeltaNet.
Что можно сделать
- Автоматизировать разбор документов и инфографики: модель набирает 99.59% на InfographicVQA и 98.26% на KIE (CORD + FUNSD), что подходит для классификации чеков, форм и графиков.
- Тестировать и анализировать веб-интерфейсы: благодаря высокому результату на Mind2Web (95.89%) систему можно использовать для проверки сценариев действий по скриншотам экранов.
- Решать задачи пространственного понимания: определять взаимное расположение объектов на фото, считать предметы и оценивать их близость к камере в помещениях и на улице.
Пример
from peshgi import Engine
engine = Engine()
response, _ = engine(
{},
{"answer": {"type": "choice", "instructions": "Which object is closer to the camera?",
"criteria": {"A": "the bicycle", "B": "the bench"}}},
images=["street.jpg"])
print(response["answers"]["answer"])
Подробнее
Бенчмарки (Decision Index vision 0.3, 12 210 вопросов): общий индекс 80.21; CV-Bench — 91.22%, BLINK — 87.41%, Winoground — 92.25%, MMMU-Pro vision — 55.43%.Требования к железу: Linux x86_64, около 60 ГБ VRAM (тестировалось на 1x RTX PRO 6000 96 ГБ и 1x H200) для размещения весов в bf16 (54 ГБ) и моделей OCR.
Ограничения: поддерживает только один вопрос с выбором до 12 вариантов (A–L) за запрос; базовые веса Qwen3.8-27B и PP-OCRv5 скачиваются отдельно при первом запуске; лицензия Apache-2.0.










Comments