coder-lfm3-1.7b-k3.1-pro-heretic
компактная модель для кода без отказов
2 min read
Новая версия компактной языковой модели на 1.73 млрд параметров для генерации кода, основанная на AJ-Gonzalez/coder-lfm3-1.7b-k3.1-pro (дистиллят на базе LiquidAI/LFM3-1.7B). Автор применил метод abliteration (удаление механизма отказов из весов нейросети) с помощью инструмента Heretic 2.0.0. В отличие от агрессивных вариантов абляции, здесь выбрана мягкая точка баланса: модель отвечает на запросы, которые отклоняла база, но практически не теряет в качестве программирования. Подойдёт разработчикам для локального запуска на ноутбуках и слабом железе через MLX, llama.cpp или Transformers.
Ключевые особенности
- Снижение числа отказов с 90/100 до 15/100 на тестовом наборе
harmful_behaviors. - Сохранение качества кода: результат на HumanEval+ составляет 0.396 против 0.402 у базовой модели (в пределах статистической погрешности).
- Три готовых формата весов в одном репозитории: 4-bit MLX (946 МБ), GGUF Q4_K_M (1.1 ГБ) и полная версия bf16 (3.48 ГБ).
- Поддержка режима рассуждений (
enable_thinking), который можно отключать для мгновенного вывода кода.
Что можно сделать
- Развернуть локального ассистента программиста на Mac с Apple Silicon через
mlx_lm— на чипе M1 модель выдаёт 47 токенов в секунду. - Запустить в
llama.cppна обычном ПК или сервере без мощной видеокарты, используя готовый файл GGUF. - Интегрировать в локальные пайплайны и скрипты через стандартную библиотеку
transformersдля генерации и рефакторинга функций.
Пример
mlx_lm.generate --model AJ-Gonzalez/coder-lfm3-1.7b-k3.1-pro-heretic \
--prompt "Write a Python function that merges two sorted lists." --max-tokens 512
Подробнее
Метрики: HumanEval+ base/plus — 0.396 / 0.384 (база: 0.402 / 0.384); NLL на 20 задачах SWE-bench Verified — 2.8517 (+7% к базе).Железо и скорость: на MacBook M1 (8 ГБ) версия MLX 4-bit потребляет 1.14 ГБ памяти на пике и генерирует 47 tok/s; GGUF Q4_K_M в llama.cpp даёт 39.0 tok/s.
Обучение: поиск по 12 испытаниям Optuna в Heretic 2.0.0 на одной Tesla T4 (fp16), затронуты слои 8–15 (LoRA rank 50), веса влиты в модель.
Лицензия: LFM Open License v1.0 (коммерческое использование разрешено при годовой выручке ниже $10M).










Comments