К содержимому
Языковые модели

LFM-3-Coder-Claude-Distill

компактная модель для кода и логики

2 мин чтенияобновлено

Перед нами облегчённая языковая модель на 1,73 млрд параметров, дообученная для решения задач по программированию и пошаговых рассуждений. Она построена на базе LiquidAI/LFM3-1.7B и прошла дистилляцию (перенос навыков от более крупной нейросети к компактной) на примерах рассуждений и ответов моделей семейства Claude — Sonnet, Opus и Fable. В отличие от исходной базы, файнтюн целенаправленно учится выстраивать цепочку размышлений перед выдачей кода. Модель пригодится разработчикам, которым нужен быстрый локальный ассистент для базового кодинга на не самых мощных видеокартах.

Ключевые особенности

  • Фокус на рассуждениях: модель обучена разбирать задачи пошагово, имитируя стиль анализа и структурирования ответов Claude.
  • Высокая скорость работы: благодаря компактному размеру (1,73B) она способна выдавать более 200 токенов в секунду на видеокарте RTX 4060.
  • Готовые форматы весов: в репозитории доступны как полные веса в FP16/BF16 safetensors, так и квантованная версия GGUF (Q4_K_M) для простого локального запуска.
  • Открытая лицензия: распространяется под Apache-2.0, что разрешает свободное использование в личных и коммерческих проектах.

Что можно сделать

  • Подключить GGUF-версию (Q4_K_M) в локальный клиент (например, для автодополнения или разбора небольших фрагментов кода на английском языке) на ноутбуке или ПК с базовой видеокартой.
  • Встроить модель через библиотеки transformers или Unsloth в локальный скрипт или пет-проект для генерации кода с пошаговым объяснением логики.
  • Использовать 4-битную загрузку для быстрого прототипирования пайплайнов, где важна высокая скорость генерации токенов при минимальном расходе видеопамяти.

Пример

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "Schnuckade/LFM-3-Coder-Claude-Distill",
    max_seq_length = 4096,
    load_in_4bit = True,
)
ПодробнееБазовая модель: LiquidAI/LFM3-1.7B (1,73 млрд параметров), фреймворк обучения — Unsloth.
Скорость генерации: свыше 200 токенов/с на RTX 4060.
Язык: английский (en), максимальная длина контекста в примере — 4096 токенов.
Бенчмарки в карточке модели не приведены.
Обсудить Telegram 1 371

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # ITLL/LFM-3-Coder-Claude-Distill
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download ITLL/LFM-3-Coder-Claude-Distill --local-dir ~/models/LFM-3-Coder-Claude-Distill
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к LFM-3-Coder-Claude-Distill
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

  • MTP (multi-token prediction)0.34.0от 16 ноября 2026новая версия

    1.5–2× скорость генерации

    Если в модели есть MTP-слои (DeepSeek-V3/R1, Qwen3-Next, GLM, MiMo и др.), она сама предсказывает несколько токенов за шаг.

    Как включить: vLLM / SGLang: --speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'. Смотрите карточку модели.

    Предыдущие поколения (2)
    • EAGLE-3 — Спекулятивное декодирование с маленькой «черновой» головой. Для моделей без своих MTP-слоёв.
    • EAGLE-2 / Medusa — Предыдущие поколения драфт-голов. Если нашли только их — тоже работают.
  • FP8 KV cache0.34.0от 16 ноября 2026новая версия

    в 2× больше контекста в той же памяти

    Хранит кэш внимания в 8 битах — длинный контекст влезает туда, где раньше не помещался.

    Как включить: vLLM: --kv-cache-dtype fp8; llama.cpp: -ctk q8_0 -ctv q8_0.

  • vLLM / SGLang0.34.0от 16 ноября 2026новая версия

    в разы больше токенов/с на сервере

    Серверные движки: пакетная обработка, FlashAttention, FP8, спекулятивное декодирование из коробки.

    Как включить: vllm serve <модель> — OpenAI-совместимый API.

    Предыдущие поколения (1)
    • llama.cpp — GGUF-модели на любой видеокарте, Mac и даже CPU; часть слоёв можно держать в ОЗУ.

Семья модели

Новые посты про версии LFM-3-Coder-Claude-Distill — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

ITLL/LFM-3-Coder-Claude-Distill
Автор
ITLL
Категория
Языковые модели
Дата выхода
На сайте

На сайте

Hugging Face

3711

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии