peshtur
быстрая модель визуального выбора с интегрированным OCR
2 мин чтенияобновлено
Модель peshtur создана на базе Qwen3.5-4B (базовая модель с 4.54 млрд параметров) и решает задачи ответа на вопросы по изображениям с выбором варианта ответа (multiple-choice). Вместо генерации текста токен за токеном модель выдает откалиброванное вероятностное распределение сразу по всем вариантам (от A до Z) за один прямой проход. Система включает в себя встроенный легковесный модуль OCR (PP-OCRv5) для распознавания текста на картинках прямо во время запроса. Разработка пригодится разработчикам и исследователям, которым важна высокая скорость обработки визуальных данных и точность в задачах разметки и анализа интерфейсов или документов.
Ключевые особенности
- Прямой вывод: Оценка вероятностей вариантов ответа за один forward pass без генерации токенов.
- Интегрированный OCR: Автоматическое распознавание текста на изображениях с помощью PP-OCRv5 на каждом запросе.
- Смешанная архитектура: Сочетание слоев полного внимания (SDPA) и рекуррентных слоев Gated DeltaNet.
- Эффективность: Обучение с использованием LoRA на всех линейных матрицах языковой части.
Что можно сделать
- Анализ документов и чеков: Применить для извлечения ключевой информации из форм, квитанций и инфографики.
- Модерация контента: Использовать модель для классификации мемов и проверки изображений на наличие нарушений.
- Интерфейсные задачи: Обрабатывать скриншоты веб-интерфейсов и отвечать на вопросы о расположении элементов.
Пример
from peshtur import Engine
engine = Engine()
response, _ = engine(
{},
{"answer": {"type": "choice", "instructions": "Which object is closer to the camera?",
"criteria": {"A": "the bicycle", "B": "the bench"}}},
images=["street.jpg"],
)
print(response["answers"]["answer"])Подробнее
Бенчмарки: 75.44 на полном публичном наборе Decision Index Vision 0.3 (12,210 строк)Требования к железу: GPU от 16 ГБ VRAM (пиковое потребление около 12.53 ГБ)
Ограничения: R-Bench-M (33.38) и MMMU-Pro vision (41.21) ограничены возможностями базы 4B
Детали обучения: 1 эпоха на 323,264 примерах с дистилляцией от трех учителей 27B










Комментарии