LFM3-VL-2B-Uncensored

Это VLM на базе LiquidAI/LFM3-VL-2B с 1,92 млрд параметров. Модификация Abliterix ослабляет отказное поведение, сохраняя vision encoder и мультимодальный проектор; модель принимает текст и изображения и рассчитана на локальные и edge-устройства.

👀 Ключевые особенности

• 👀 На входе текст и изображения; задача — image-text-to-text.
• 🤫 Abliterix меняет Q/K/V/O-проекции внимания языкового бэкбона, vision encoder и проектор остаются без изменений.
• 💪 Варианты весов: BF16, FP8, Int8 (W8A16), Int4 (W4A16), NVFP4 (NVFP4A16); vision encoder и проектор — BF16.
• 🔥 Контекст до 128 000 токенов — в зависимости от runtime и доступной памяти.
• 💸 Есть отдельные GGUF и MLX версии для разных бэкендов.

💪 Пример

Сценарий из карточки — локальный запуск на edge-устройстве: подайте изображение и текстовый запрос в чат-формате. Рекомендуемые параметры генерации: temperature=0.1, top_p=1.0, top_k=50, min_p=0.0, repetition_penalty=1.1.