coder-lfm3-1.7b-k3.1-pro
компактный кодер с рассуждениями
2 min readupdated
Лёгкая языковая модель на 1,73 млрд параметров для написания кода и решения задач по информатике. Она основана на LiquidAI/LFM3-1.7B и дообучена автором AJ-Gonzalez на ответах модели kimi-k3.1-pro с помощью LoRA (небольшой надстройки над базовой моделью). Главное отличие — модель сначала подробно рассуждает в отдельном поле reasoning_content, а затем выдаёт готовый код, причём способна сама исправлять неудачные черновики по ходу генерации. Пригодится разработчикам, которым нужен локальный помощник для простых скриптов на слабом железе или прямо в браузере без видеокарты.
Ключевые особенности
- Сразу доступна в 4-битном формате MLX (946 МБ) для Mac и в формате GGUF Q4_K_M (1,1 ГБ) для
llama.cpp. - Поддерживает полноценный клиентский запуск в браузере через WebAssembly без GPU, установки и регистрации.
- Разделяет поток вывода на внутренние рассуждения (
reasoning_content) и финальный ответ (content), режим мышления отключается черезenable_thinking=false. - В комплекте лежит отдельный LoRA-адаптер весом 11 МБ для слияния с оригинальной базой или дальнейшего дообучения.
Что можно сделать
- Запустить полностью локально в браузере на базе WebAssembly (например, в среде
gguf-runtime) для генерации небольших функций на Python без отправки кода в облако. - Использовать в связке с
mlx_lmна базовом MacBook с 8 ГБ оперативной памяти — пиковое потребление составляет всего 1,19 ГБ. - Подключить через
llama-cliв локальных скриптах, выделив бюджет от 1500 токенов, чтобы модели хватало места на цепочку рассуждений перед ответом.
Пример
mlx_lm.generate --model AJ-Gonzalez/coder-lfm3-1.7b-k3.1-pro \
--prompt "Write a Python function that returns the first 12 prime numbers, with a one-line docstring." \
--max-tokens 3000
Подробнее
Validation loss снизился с 2.861 до 2.438 за 3 эпохи обучения (2,96 часа на M1 8 ГБ).Скорость генерации: 46–48 tok/s в MLX на M1 (8 ГБ), ~37.6 tok/s в GGUF на M1 и 15–18 tok/s в однопоточном WebAssembly в Chrome на M1 Pro.
Ограничения: при лимите в 256–512 токенов модель может потратить весь бюджет на рассуждения и не выдать итоговый ответ.
Лицензия: LFM Open License v1.0 (коммерческое использование разрешено только компаниям с годовой выручкой ниже $10M).










Comments