LFM3-VL-2B-Uncensored
вижн-языковая модель без отказов для локального запуска
1 min read
Это VLM на базе LiquidAI/LFM3-VL-2B с 1,92 млрд параметров. Модификация Abliterix ослабляет отказное поведение, сохраняя vision encoder и мультимодальный проектор; модель принимает текст и изображения и рассчитана на локальные и edge-устройства.
Ключевые особенности
- На входе текст и изображения; задача — image-text-to-text.
- Abliterix меняет Q/K/V/O-проекции внимания языкового бэкбона, vision encoder и проектор остаются без изменений.
- Варианты весов: BF16, FP8, Int8 (W8A16), Int4 (W4A16), NVFP4 (NVFP4A16); vision encoder и проектор — BF16.
- Контекст до 128 000 токенов — в зависимости от runtime и доступной памяти.
- Есть отдельные GGUF и MLX версии для разных бэкендов.
Пример
Сценарий из карточки — локальный запуск на edge-устройстве: подайте изображение и текстовый запрос в чат-формате. Рекомендуемые параметры генерации: temperature=0.1, top_p=1.0, top_k=50, min_p=0.0, repetition_penalty=1.1.
Подробнее
KL относительно базовой модели — 0,0426511.StrongREJECT: строгий отказ 4%, предупреждение с ответом 38%.
SimpleSafetyTests: строгий отказ 8%, предупреждение с ответом 56%.
Квантованные варианты отдельно не бенчмаркались; Abliterix и квантование могут влиять на качество. Лицензия — LFM Open License v1.0.










Comments