LFM3-1.7B-3D-Coder-GGUF
квантованные версии для локального запуска
2 min readupdated
Набор статически квантованных файлов в формате GGUF (сжатый формат для запуска языковых моделей на обычных компьютерах и видеокартах) для модели syaikhipin/LFM3-1.7B-3D-Coder, подготовленный автором mradermacher. Квантование уменьшает объём весов модели с 3.6 ГБ в исходной точности f16 до 0.9–1.9 ГБ, сохраняя при этом работоспособность. В карточке нет описания самой базовой модели, но судя по названию, это компактная языковая модель на 1.7 млрд параметров для задач программирования и 3D. Сборка пригодится разработчикам и энтузиастам, которые хотят запускать лёгкие модели локально через llama.cpp или совместимые оболочки даже на слабом железе.
Ключевые особенности
- 12 вариантов статического квантования: от сверхлёгкого
Q2_K(0.9 ГБ) до полногоf16(3.6 ГБ). - Рекомендуемые автором сбалансированные сборки
Q4_K_SиQ4_K_Mвесят всего 1.2 ГБ. - Для максимального качества при небольшом объёме доступны
Q6_K(1.5 ГБ) иQ8_0(1.9 ГБ). - В наборе также есть
IQ4_XS(1.1 ГБ) — автор отмечает, что IQ-кванты часто предпочтительнее обычных сборок сопоставимого размера.
Что можно сделать
- Запустить модель локально на CPU или бюджетной GPU в llama.cpp, LM Studio, Ollama или KoboldCpp.
- Потестировать работу компактной 1.7B-модели на ноутбуках или устройствах с жёстким ограничением по памяти (от 1–2 ГБ).
Пример
В карточке не приведены примеры промптов или код запуска — автор отсылает к стандартным инструкциям по работе с GGUF-файлами (например, в репозиториях TheBloke). Скачайте нужный .gguf-файл (оптимально LFM3-1.7B-3D-Coder.Q4_K_M.gguf или Q8_0.gguf) и загрузите его в любой клиент на базе llama.cpp.
Подробнее
Базовая модель: syaikhipin/LFM3-1.7B-3D-Coder (язык — английский).Размер файлов: от 0.9 ГБ (Q2_K) до 3.6 ГБ (f16).
Ограничения: в репозитории представлены только статические кванты; imatrix-версии на момент публикации отсутствуют.
Детали: собрано mradermacher (quantize_version: 2, convert_type: hf).










Comments