Языковые моделиkeras
SmolVLM2 500M Video Instruct
лёгкая мультимодальная модель в KerasHub
1 мин чтения
Это Keras-версия SmolVLM2 500M от команды Keras: instruction-tuned модель семейства SmolVLM2 от Hugging Face для понимания изображений и видео. В основе — архитектура Idefics3: визуальный энкодер SigLIP-B/16 и текстовый декодер SmolLM2, всего 507,48 млн параметров.
➕ Ключевые особенности
- ➕ Принимает чередующийся текст, одно или несколько изображений и видео-кадры, генерирует текст.
- 🔤 Подходит для captioning, visual question answering, разбора документов и графиков, поиска ярких моментов в видео.
- ▶ Ориентирована на работу на ограниченном железе благодаря компактному размеру.
- 🔙 Доступна через KerasHub preset и Hugging Face URI; есть вариант на 256M.
- 🟰 Веса и Keras-код опубликованы под Apache 2.0.
🔤 Пример
import keras
import keras_hub
smolvlm2_lm = keras_hub.models.SmolVLM2CausalLM.from_preset("smolvlm2_500m_video_instruct")
smolvlm2_lm.generate("<|im_start|>User:What is Keras?")Подробнее
Параметры: 507,48 млн; энкодер SigLIP-B/16 + декодер SmolLM2.Лицензии: Apache 2.0 для весов и Keras-кода.
Модель не генерирует изображения или видео; издатель не рекомендует использовать её для решений, влияющих на благополучие или средства к существованию человека.
Бенчмарки и требования к VRAM в карточке не приведены.
Комментарии