occamy-1.0-abliterated-safetensors-i1-GGUF
imatrix-кванты модели для локального запуска
2 min read
Репозиторий содержит квантованные сборки (сжатые версии весов для запуска на обычном железе) модели 977895k/occamy-1.0-abliterated-safetensors в формате GGUF от mradermacher. В отличие от статических сборок, здесь используется метод imatrix (матрица важности весов, которая помогает сохранить качество ответов при сильном сжатии). Сама карточка не раскрывает архитектуру и задачи оригинальной модели, но предоставляет готовые файлы для локального инференса (запуска) на видеокарте или процессоре через совместимые движки вроде llama.cpp.
Ключевые особенности
- Квантизация с imatrix: взвешенное сжатие уменьшает потерю качества на низких битрейтах по сравнению со статическими квантами.
- Широкий выбор пресетов: в метаданных заявлены варианты от сверхлёгких
IQ1_S,IQ1_MиIQ2_XXSдоQ5_K_MиQ6_K(в таблице уже доступенi1-Q2_Kвесом 13 ГБ). - Файл матрицы в комплекте: отдельно выложен
occamy-1.0-abliterated-safetensors.imatrix.gguf(0.5 ГБ), если вы захотите собрать собственный квант нужного размера. - Альтернатива без imatrix: автор также подготовил отдельный репозиторий со статическими GGUF-квантами этой же базы.
Что можно сделать
- Запустить локально: загрузить нужный GGUF-файл в llama.cpp, LM Studio, Ollama или KoboldCpp для генерации текста без облачных API.
- Собрать свой квант: использовать готовый файл
.imatrix.ggufи утилитуllama-quantize, чтобы сжать оригинальные веса под точный объём вашей VRAM.
Пример
Скачайте подходящий по объёму памяти файл (например, occamy-1.0-abliterated-safetensors.i1-Q2_K.gguf) из раздела Files and versions, загрузите его в локальный бэкенд с поддержкой GGUF и отправьте текстовый запрос на английском языке.
Подробнее
Базовая модель: 977895k/occamy-1.0-abliterated-safetensors (язык: en)Доступные размеры: файл imatrix — 0.5 ГБ, квант i1-Q2_K — 13.0 ГБ (автор отмечает, что IQ3_XXS при схожем весе обычно даёт лучшее качество)
Подробные метрики и точное число параметров в карточке не указаны










Comments