LFM3-VLD-2B

LFM3-VLD-2B — гибридная мультимодальная модель на 2,18 млрд параметров от webbrain-one, собранная методом Pegasus. В основе — 24-слойная архитектура Conv + GQA attention + Feed-Forward, vision tower, мультимодальный проектор и embeddings от LiquidAI/d1-2B. Модель предназначена для браузерных действий, проверки и decision-траекторий.

🦾 Ключевые особенности

• 🧬 Decision Backbone: полная гибридная архитектура и vision-часть от LiquidAI/d1-2B.
• 🔎 Restored Language Head: оригинальный lm_head.weight от LiquidAI/LFM3-VL-2B, отвязанный от token embeddings (tie_word_embeddings: false).
• 🎯 Решает деградацию открытой генерации после fine-tuning на decision-задачах — повторяемость токенов и слабую прозу.
• ⚙ Сохраняет decision-разделимость: 91,27% accuracy и 0% false completions на balanced browser decision benchmark.
• 📀 Есть companion-репозитории с GGUF-квантизациями для llama.cpp и WebGPU-ready ONNX-бандлом.

💡 Пример

import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
model_id = "webbrain-one/lfm3-vl-2b-vldr"
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForImageTextToText.from_pretrained(
    model_id, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True
)
# далее apply_chat_template(...) и model.generate(...)

Подробнее

Бенчмарк: Decision Probe — 115/126 (91,3%), false completions — 0/48; zero-shot verify — 85/126 (67,5%).
База LiquidAI/LFM3-VL-2B в zero-shot verify — 106/126 (84,1%).
Доступны GGUF: BF16, Q8_0, Q4_K_M, mmproj-F16; ONNX: decoder_q8f16, decoder_q4f16, vision_encoder_fp16.
Ограничение: узкая специализация на браузерных решениях; данные о VRAM в карточке не указаны.