gpt2.5-v0.5
компактная VLM и агент на базе старого доброго GPT-2
2 min readupdated
gpt2.5-v0.5 от автора OpceanAI — это исследовательская мультимодальная модель (VLM, понимающая изображения и текст) объёмом около 0.91B параметров, построенная поверх классической gpt2-large (774M). К языковой основе прикрутили замороженный энкодер картинок SigLIP 2 (so400m), MLP-проектор (14.9M), несшитую LoRA (47.2M) и блок MTP (73.7M) для спекулятивного декодирования (ускорения генерации без потери точности). В отличие от оригинальной GPT-2, эта сборка умеет отвечать на вопросы по одному изображению и вызывать внешние инструменты в строгом агентном формате. Подойдёт исследователям и энтузиастам, которым интересно изучать архитектуру лёгких VLM, работу MTP-драфтеров и поведение малых моделей в ролях агентов.
Ключевые особенности
- Мультимодальное зрение: связка
SigLIP 2и MLP-проектора позволяет модели анализировать картинку в паре с текстовым запросом. - Агентные навыки: модель обучена работать с 40 каноническими инструментами через специальные теги
. - Ускорение через MTP: 3-слойный блок-драфтер предсказывает сразу несколько токенов вперёд, ускоряя жадную генерацию на коротких промптах.
- Готовый сервер: в репозитории есть код загрузчика и OpenAI-совместимого сервера с эндпоинтом
/v1/chat/completions.
Что можно сделать
- Изучить спекулятивное декодирование: сравнить скорость и длину принятых токенов в режимах
speculative=TrueиFalseна CPU и GPU. - Протестировать базовое VQA: прогнать простые сцены, распознавание синтетического текста (Procedural OCR) или базовые вопросы по объектам на картинке.
- Погонять локального мини-агента: подключить модель через встроенный OpenAI-совместимый сервер для тестов вызова функций в её родном шаблоне промптов.
Пример
from transformers import AutoModel, AutoTokenizer
from PIL import Image
model = AutoModel.from_pretrained(".", trust_remote_code=True, vision_dir="siglip2-so400m-patch16-naflex")
tokenizer = AutoTokenizer.from_pretrained(".", trust_remote_code=True)
prompt = model.build_prompt(tokenizer, "What is in this picture?", image=Image.open("photo.jpg"))
out = model.generate(prompt, speculative=True, num_draft=4, max_new_tokens=64, precision="fp32")
print(tokenizer.decode(out.tokens, skip_special_tokens=True), out.mean_accepted_length)Подробнее
Веса в репозитории хранятся вfp32 (около 3.64 ГБ), энкодер google/siglip2-so400m-patch16-naflex подгружается отдельно.Бенчмарки: POPE random — 0.850, VQAv2 val — 0.641, Procedural OCR — 0.690; на графиках и документах (ChartQA — 0.145, DocVQA — 0.153) модель слаба.
Ускорение MTP на RTX PRO 6000 достигает 1.51x на тексте и 1.84x на агентных ответах, но работает только на промптах короче ~250 токенов.
Ограничения: окно контекста всего 1024 токена, только 1 картинка на запрос, рабочий язык — английский, статус — строго для исследований (некоммерческие данные в миксе).










Comments