One-For-All-4B-GGUF
квантованные файлы модели от mradermacher
1 мин чтения
Этот репозиторий содержит набор статических квантований (GGUF-версий) для мультимодальной модели TendieLabs/One-For-All-4B. Формат GGUF позволяет запускать языковые и мультимодальные модели на потребительском «железе» (например, на обычном ПК или ноутбуке с поддержкой llama.cpp и аналогичных инструментов). В наличии представлены различные варианты сжатия от быстрых небольших файлов до более точных (включая Q4_K_M, Q8_0, IQ4_XS и другие), а также файлы для мультимодального компонента (mmproj). Модель подойдет разработчикам и энтузиастам, которым требуется локальный запуск данной архитектуры с минимальными требованиями к VRAM.
Ключевые особенности
- Полный набор статических квантований GGUF (включая Q2_K, Q3_K_M, Q4_K_M, Q8_0 и др.)
- Наличие мультимодальных файлов дополнения (mmproj-f16 и mmproj-Q8_0)
- Оптимизация для локального запуска на обычном оборудовании
- Разнообразие вариантов под разные требования к качеству и размеру
Что можно сделать
- Запустить модель локально с помощью совместимых клиентов и библиотек (например, llama.cpp)
- Подобрать оптимальный размер квантования под доступный объем оперативной или видеопамяти
- Использовать мультимодальные возможности в локальных пайплайнах обработки данных
Пример
Использование файлов GGUF стандартно для экосистемы llama.cpp. Укажите путь к скачанному файлу модели и соответствующему mmproj-файлу в вашем любимом клиенте или запустите через консольную утилиту.
Подробнее
Базовая модель: TendieLabs/One-For-All-4BБиблиотека: transformers / GGUF
Доступные форматы: x-f16, Q4_K_S, Q2_K, Q8_0, Q6_K, Q3_K_M, Q3_K_S, Q3_K_L, Q4_K_M, Q5_K_S, Q5_K_M, IQ4_XS
Мультимодальные компоненты: mmproj-Q8_0 (0.5 ГБ), mmproj-f16 (0.8 ГБ)










Комментарии