JiRack Glimmer 38B alpha
GGUF-версия модели на новой гибридной архитектуре
2 мин чтенияобновлено
JiRack Glimmer 38B — языковая модель на 38,3 млрд параметров от разработчика CMSManhattan (Константин Грабко), пересобранная из модели Muse Glimmer от Meta на базе архитектуры JiRack. В этом репозитории выложена альфа-версия в формате GGUF для локального запуска: веса пока не проходили дополнительного дообучения, поэтому модель по качеству ответов полностью повторяет исходную базу от Meta. Особенность релиза в подготовке под будущее тернарное обучение (сжатие весов до трёх значений для ускорения работы), а заложенный запас ёмкости предназначен для дальнейшего файнтюна. Модель пригодится разработчикам и исследователям, которые хотят протестировать работу новой архитектуры в стандартном llama.cpp или оценить проект.
Ключевые особенности
- Архитектура JiRack: все линейные слои заменены на BitLinear с тернарным переключателем (в текущей альфа-версии параметр lambda равен 0, то есть веса работают в полной точности).
- Гибридное внимание и длинный контекст: 52 слоя сгруппированы по 4 (3 слоя со скользящим окном на 2048 токенов и 1 глобальный слой), максимальный контекст настроен на 131 072 токена.
- Проверенная точность переноса: версия Q8_0 по логитам битово идентична исходной модели (совпадение top-1 токенов 100%, перплексия 4.22).
- Готовность к llama.cpp: доступны три варианта квантования — Q8_0 (38,65 ГБ), Q4_K_M (22,09 ГБ) и компактный Q2_K (13,77 ГБ).
Что можно сделать
- Запустить локальный диалоговый режим в консоли через
llama-cliдля проверки генерации текста на базе Muse Glimmer. - Поднять локальный API-сервер через
llama-serverс контекстом до 32 768 токенов на одной видеокарте с 24–48 ГБ видеопамяти (в квантовании Q4_K_M). - Протестировать модель на слабом железе с помощью облегчённого файла Q2_K весом 13,77 ГБ.
Пример
llama-cli -m JiRackGlimmer-38B-alpha-Q4_K_M.gguf -c 8192 -cnv
llama-server -m JiRackGlimmer-38B-alpha-Q4_K_M.gguf -c 32768 --port 8080
Подробнее
Параметры: 38,3B всего (36,4B в языковой части), энкодер изображений в GGUF-релиз не включён.Бенчмарки сверки в llama.cpp: Q4_K_M даёт 93,46% совпадения top-1 с оригиналом (перплексия 4.44), Q2_K — 80,00% (перплексия 5.82).
Железо: Q4_K_M (22,09 ГБ) помещается на одну GPU с 24–48 ГБ VRAM; для первого запуска подойдёт Q2_K (13,77 ГБ).
Ограничения: это необученная альфа-сборка, автор ищет вычислительные ресурсы для дообучения на коде, математике, tool calling и перевода в тернарный режим (lambda 0 → 1).










Комментарии