LFM3-VL-2B
компактная мультимодальная модель с поддержкой видео и рассуждений
2 мин чтенияобновлено
Новая компактная мультимодальная модель от Liquid AI (размером 1.92B параметров) создана для визуального понимания на устройствах (on-device). Она умеет принимать на вход текст, изображения и впервые для линейки LFM — видео, а также рассуждать шаг за шагом перед ответом благодаря встроенному блоку thinking. Модель построена на базе языковой модели LFM3-1.7B-Base и нового фирменного визуального энкодера, поддерживая контекст до 128K токенов. Она отлично справляется с анализом графиков, документов и пространственным позиционированием объектов, и пригодится разработчикам и энтузиастам для создания локальных мультимодальных приложений и робототехники.
Ключевые особенности
- Понимание видео: первая модель серии LFM, способная обрабатывать видеоклипы с частотой 2 fps по умолчанию.
- Пошаговые рассуждения: модель думает перед ответом, что помогает решать сложные визуальные задачи, математику и анализ графиков.
- Пространственное мышление: поиск объектов в кадре и анализ их взаимного расположения для робототехнических задач.
- Мультиязычность: поддержка 16 языков, включая русский.
Что можно сделать
- Анализ видео: задавать вопросы по записям лекций, роликам с телефона или кадрам с камер видеонаблюдения.
- Чтение графиков и документов: извлекать текст и данные из сканов документов, интерфейсов приложений и графиков.
- Робототехника и edge-устройства: использовать пространственное рассуждение для локального определения объектов на роботах и умных гаджетах.
- Локальный запуск: развернуть модель локально через llama.cpp (GGUF), vLLM или SGLang для быстрых инференс-запросов.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "LiquidAI/LFM3-VL-2B"
model = AutoModelForImageTextToText.from_pretrained(
model_id, dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
messages = [
{
"role": "user",
"content": [
{"type": "image", "url": "[https://placecats.com/300/200](https://placecats.com/300/200)"},
{"type": "text", "text": "Describe this image."},
],
}
]
inputs = processor.apply_chat_template(
messages,
add_generation_prompt=True,
tokenize=True,
return_dict=True,
return_tensors="pt",
).to(model.device)
with torch.inference_mode():
output_ids = model.generate(
**inputs,
do_sample=True,
temperature=0.1,
top_k=50,
repetition_penalty=1.1,
max_new_tokens=16384,
)
generated_ids = output_ids[:, inputs["input_ids"].shape[1] :]
print(processor.batch_decode(generated_ids, skip_special_tokens=True)[0])
Подробнее
Параметры: 1.92B (языковая часть 1.73B, визуальный энкодер 164M, проектор 25M).Контекст: 128K токенов.
Архитектура: 24 слоя языковой модели (включая свёртки и внимание) и 14 слоев визуального энкодера.
Ограничения: не рекомендуется для написания кода, многораундовых диалогов и сложных рассуждений. Лицензия: LFM Open License v1.0.










Комментарии