LFM-3-Coder-Claude-Distill-GGUF
компактная модель для кода в формате GGUF
2 min readupdated
Набор статических квантованных сборок (сжатых версий для запуска на обычном железе с меньшим расходом памяти) на базе модели Schnuckade/LFM-3-Coder-Claude-Distill от автора mradermacher. Репозиторий позволяет запускать эту кодер-модель локально через движки с поддержкой GGUF, выбирая оптимальный баланс между размером файла и качеством генерации. Доступно 12 вариантов сжатия весов: от сверхлёгких 0.9 ГБ до полных 16-битных 3.6 ГБ. Подойдёт разработчикам, которым нужен лёгкий локальный ассистент для написания кода на слабых GPU или CPU.
Ключевые особенности
- Широкий выбор квантов: доступны 12 сборок — от
Q2_K(0.9 ГБ) доQ8_0(1.9 ГБ) и неквантованнойf16(3.6 ГБ). - Рекомендованные балансы: автор отмечает версии
Q4_K_SиQ4_K_M(по 1.2 ГБ) как быстрые и оптимальные,Q6_K(1.5 ГБ) — как очень качественную, аQ8_0— как лучшую по качеству. - Наличие IQ-квантов: в сборку включён вариант
IQ4_XS(1.1 ГБ), который часто превосходит обычные кванты сопоставимого размера. - Статическое квантование: на момент релиза представлены только static-кванты (без imatrix-калибровки).
Что можно сделать
- Запустить локальный автокомплит: подключить
Q4_K_M(1.2 ГБ) илиQ8_0(1.9 ГБ) через llama.cpp, Ollama или LM Studio для генерации и анализа кода без облачных API. - Подобрать сборку под память: использовать
IQ4_XS(1.1 ГБ) илиQ2_K(0.9 ГБ) на устройствах с жестким ограничением по объёму оперативной или видеопамяти.
Пример
Для запуска достаточно скачать нужный .gguf файл из таблицы в карточке (например, LFM-3-Coder-Claude-Distill.Q4_K_M.gguf) и загрузить его в любой совместимый локальный раннер вроде llama.cpp.
Подробнее
Базовая модель: Schnuckade/LFM-3-Coder-Claude-Distill (язык: en)Размер файлов: от 0.9 ГБ (Q2_K) до 3.6 ГБ (f16)
Доступные кванты: Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K, Q8_0, f16
Примечание: weighted/imatrix кванты на момент публикации отсутствуют










Comments