Ripple-VLM
мультимодальный адаптер для модели Ripple-65B
2 min readupdated
Веса адаптера от автора fbarbosa1, которые добавляют текстовой LLM Ripple-65B-Preview способность воспринимать изображения и отвечать на вопросы по ним. Архитектура объединяет визуальный энкодер google/siglip-so400m-patch14-224 с языковой моделью через проектор (49,8M параметров) и LoRA (небольшая надстройка над базовой моделью на 232M параметров). В отличие от полноценных VLM с нуля, это лёгкая надстройка поверх уже готовой 65-миллиардной модели без необходимости переобучать её целиком. Пригодится исследователям и разработчикам, работающим с семейством Ripple, для тестов визуально-языковых задач (VQA) и прототипирования.
Ключевые особенности
- Включает веса проектора и LoRA с рангом 16 для всех 7 линейных слоёв в каждом из 80 блоков Ripple-65B-Preview.
- Каждое входное изображение сжимается до разрешения 224×224 и кодируется всего в 64 визуальных токена (с использованием пулинга 2).
- Обучение проходило в два этапа на 8×H200: сначала выравнивание проектора на 100K пар из LLaVA-Pretrain, затем инструктивный тюнинг на 50K диалогов LLaVA-Instruct-150K.
- В открытый доступ выложен чекпоинт с 750-го шага второго этапа (обучение остановили досрочно на ~910 шаге из 1500).
Что можно сделать
- Подключить визуальный ввод к текстовой Ripple-65B-Preview для базового распознавания объектов на картинках и ответов на вопросы типа «да/нет».
- Использовать открытый код, скрипты обучения и бенчмарк из репозитория GitHub для экспериментов с собственными VLM-адаптерами или продолжения дообучения.
- Генерировать базовые описания изображений в задачах, где не требуется распознавание мелкого текста.
Пример
from loading import build_vla_inference
model, cfg = build_vla_inference(
"adapter.safetensors",
""
)
# Генерация: model.generate(images, input_ids, attention_mask)
Подробнее
Бенчмарки (оценка по 200 примерам): точность на POPE yes/no выросла с 47,0% (только проектор) до 74,5%, на тесте геометрических фигур — 73,5%, NLL на COCO caption улучшился с 3,00 до 2,78.Требования к железу: около 140 ГБ видеопамяти (например, связка из 2×H100 80GB), так как базовые модели (~130 ГБ) скачиваются отдельно.
Ограничения: из-за 64 токенов на кадр модель не читает мелкий текст, путает цвета, плохо считает объекты и склонна отвечать «да» на POPE (64% ответов).
Лицензия: сам адаптер под Apache-2.0, но датасет LLaVA-Instruct-150K имеет ограничения CC BY-NC 4.0, что может запрещать коммерческое использование.










Comments