Другоеgatilin
LFM3-Omni-2B vision encoder
визуальные эмбеддинги без языковой модели
1 мин чтенияобновлено
Сообщество выложило извлечённые компоненты model.vision_tower.* и model.multi_modal_projector.* из LiquidAI/LFM3-Omni-2B, закреплённые на ревизии 21d7512. Имена тензоров, dtypes, формы и значения сохранены, вес сборки — около 0,19 млрд параметров, библиотека PyTorch.
✨ Ключевые особенности
- 👁 Только визуальная часть: энкодер изображения и мультимодальный проектор
- 📌 Привязка к конкретной ревизии исходной модели — воспроизводимость важнее свежести
- ❌ Языковая модель, аудиокомпоненты и генерация вывода не входят в сборку
- 🔼 На входе patchified
pixel_valuesиimage_grid_thw, на выходе — projected visual embeddings - 💻 Работает с апстримным
Lfm3VlImageProcessor, настроенным изprocessor_config.json - ✅ Лицензия LFM Open License 1.0, включая условия коммерческого использования
💻 Пример
from component import load_model
model = load_model("path/to/repo")
# processor — из processor_config.json (Lfm3VlImageProcessor)
out = model(pixel_values=pixel_values, image_grid_thw=image_grid_thw)
print(out.shape)Подробнее
Ограничения проверки описаны вvalidation.json: это только CPU smoke test, входные и выходные формы смотрите там.Нужны PyTorch, Transformers 5.21.1, accelerate, safetensors, Pillow и NumPy.
Имена и формы тензоров совпадают с LFM3-VL-2B, но байты отличаются — берите веса от той модели, для которой собираетесь использовать.
Происхождение сборки задокументировано в
tensor_mapping.json и extraction.json.
Комментарии