SingVL_S1_4B_GGUF
мультимодальная модель для принятия решений за один проход
2 min read
SingVL-4B GGUF — это квантованная (сжатая для локального запуска) версия мультимодальной модели принятия решений Sing VL S1 от команды inclusionAI, построенная на базе Qwen3.5 (4 млрд параметров). В отличие от обычных чат-ботов, которые генерируют длинный текст по токену за раз, она отвечает на заданные вопросы по тексту, JSON и до четырёх изображений всего за один полный прямой проход (forward pass), возвращая точные вероятности вариантов ответа. В слоях полного внимания используется двунаправленное внимание по всему входу, а состояние очищается перед каждым новым вопросом. Модель пригодится разработчикам для быстрой и предсказуемой классификации, модерации, скоринга и автоматизации логики в пайплайнах.
Ключевые особенности
- Три режима ответов:
choice(выбор варианта с вероятностью каждого кандидата),noul(вероятность истинности утверждения «да/нет») иscore(оценка по шкале от 2 до 10 уровней с расчётом математического ожидания). - Работа с текстом и картинками: принимает текст или JSON-состояние и до 4 изображений одновременно через общий vision-проектор.
- Готовые кванты GGUF: доступны версии декодера BF16 (8.42 ГБ), Q8_0 (4.48 ГБ) и Q4_K_M (2.71 ГБ), а также общий проектор F16 (0.67 ГБ).
- Сильные показатели в тестах: исходная модель набрала 69.76 в текстовом и 73.94 в визуальном зачёте Public Decision Index 0.3, обойдя конкурентов на 4B параметров.
Что можно сделать
- Автоматическая модерация и фильтрация: проверять пользовательский контент (текст + скриншоты или фото) на соответствие правилам через бинарные вопросы
noulс настраиваемым порогом вероятности. - Ранжирование и скоринг карточек: оценивать качество товаров, резюме или изображений по многоуровневой шкале
scoreдля сортировки в поиске и рекомендациях. - Маршрутизация в AI-агентах: использовать как быстрый классификатор намерений и визуальных состояний в локальном FastAPI-сервисе вместо тяжёлых LLM с генерацией JSON.
Пример
from examples.llama_cpp.model import SingVLS1
model = SingVLS1("config", device="cpu")
text, _ = model.predict(
state="The color is red. ",
questions={"yesno": {"type": "noul", "instructions": "Is the named color red?"}},
)
print(text["answers"])
Подробнее
Бенчмарки исходной модели (Public Decision Index 0.3): Text — 69.76 (на 140 178 запросах), Vision — 73.94 (на 12 210 запросах); полная публичная валидация GGUF-вариантов ещё продолжается.Среда запуска: в комплекте идёт бэкенд на базе llama.cpp для Linux x86_64 CPU с Python 3.12 и готовым HTTP-сервером FastAPI (порт 8173).
Ограничения: длина контекста по умолчанию — 4096 токенов (включая токены изображений), для работы требуется сборка кастомного адаптера под зафиксированный коммит llama.cpp.










Comments