Inkling-2-Small-Vision
отдельный визуальный энкодер от Inkling 2 Small
2 мин чтенияобновлено
В этот репозиторий упакованы визуальная башня (vision Tower — кодировщик изображений) и проектор из мультимодальной модели Inkling 2 Small от Thinking Machines. На входе модель принимает картинку, прогоняет её через 23 трансформерных блока, сжимает токены и на выходе выдаёт готовые визуальные эмбеддинги размерности 4608, согласованные с языковой частью. В основе лежит архитектура PE-Lang L от Meta (vit_pe_lang_large_patch14_448 в библиотеке timm), дообученная вместе с языковой моделью, а сама сборка весит около 0.29B параметров. От полноценной VLM этот релиз отличается тем, что визуальный модуль вынесен отдельно без текстовой части, но с полным сохранением исходных весов в формате BF16 и проверкой точного совпадения тензоров с оригиналом. Инструмент пригодится разработчикам мультимодальных систем, которым нужен самостоятельный vision-бэкбон или референс под vLLM.
Ключевые особенности
- База от Meta и Thinking Machines: визуальная башня инициализирована из
vit_pe_lang_large_patch14_448_timmи дообучена в составе Inkling 2 Small. - Сжатие токенов без лишних весов: пространственная группировка патчей 2x2 объединяет 1024 токена шириной 1024 в 256 токенов шириной 4096 без обучаемых параметров.
- Готовый проектор в комплекте: двухслойный MLP (
Linear(4096, 4096)→ GELU →Linear(4096, 4608)) сразу переводит признаки в скрытое пространство LLM. - Побитовая сверка с оригиналом: каждый тензор проверен через
torch.equal, а проход данных сверен с эталонной реализацией в vLLM.
Что можно сделать
- Извлекать визуальные признаки: использовать модель в пайплайнах
image-feature-extractionдля получения плотных эмбеддингов изображений размером 640×640 пикселей. - Собирать кастомные VLM: подключить готовый vision Tower и проектор к совместимой языковой модели или использовать как основу для мультимодальных экспериментов.
- Тестировать и отлаживать инференс: применять модуль и приложенный скрипт
inkling2_vision.pyдля проверки совместимости визуального энкодера при переносе в движки вроде vLLM.
Пример
В репозитории лежит готовый загрузчик inkling2_vision.py (на базе timm) и сценарий examples/inference.py для извлечения признаков. При подаче изображения в нативном разрешении 640×640 px сетка патчей 32×32 (размер патча 20) сначала превращается в 1024 токена шириной 1024, после группировки 2×2 сжимается до 256 токенов шириной 4096, а проектор на выходе отдаёт 256 визуальных токенов шириной 4608.
Подробнее
Параметры: 0.29B (420 тензоров вmodel.safetensors и 2 тензора в projector.safetensors, формат BF16)Архитектура Tower: 23 блока, hidden size 1024, 16 голов внимания, patch size 20, 2D RoPE, exact GELU, LayerScale
Нативное разрешение: 640 px (сетка патчей 32 × 32), выход проектора — 256 × 4608
Лицензия: Apache-2.0










Комментарии