LFM-3-Coder-Claude-Distill
компактная модель для кода и логики
2 мин чтенияобновлено
Перед нами облегчённая языковая модель на 1,73 млрд параметров, дообученная для решения задач по программированию и пошаговых рассуждений. Она построена на базе LiquidAI/LFM3-1.7B и прошла дистилляцию (перенос навыков от более крупной нейросети к компактной) на примерах рассуждений и ответов моделей семейства Claude — Sonnet, Opus и Fable. В отличие от исходной базы, файнтюн целенаправленно учится выстраивать цепочку размышлений перед выдачей кода. Модель пригодится разработчикам, которым нужен быстрый локальный ассистент для базового кодинга на не самых мощных видеокартах.
Ключевые особенности
- Фокус на рассуждениях: модель обучена разбирать задачи пошагово, имитируя стиль анализа и структурирования ответов Claude.
- Высокая скорость работы: благодаря компактному размеру (1,73B) она способна выдавать более 200 токенов в секунду на видеокарте RTX 4060.
- Готовые форматы весов: в репозитории доступны как полные веса в FP16/BF16 safetensors, так и квантованная версия GGUF (
Q4_K_M) для простого локального запуска. - Открытая лицензия: распространяется под Apache-2.0, что разрешает свободное использование в личных и коммерческих проектах.
Что можно сделать
- Подключить GGUF-версию (
Q4_K_M) в локальный клиент (например, для автодополнения или разбора небольших фрагментов кода на английском языке) на ноутбуке или ПК с базовой видеокартой. - Встроить модель через библиотеки
transformersилиUnslothв локальный скрипт или пет-проект для генерации кода с пошаговым объяснением логики. - Использовать 4-битную загрузку для быстрого прототипирования пайплайнов, где важна высокая скорость генерации токенов при минимальном расходе видеопамяти.
Пример
from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
model_name = "Schnuckade/LFM-3-Coder-Claude-Distill",
max_seq_length = 4096,
load_in_4bit = True,
)Подробнее
Базовая модель: LiquidAI/LFM3-1.7B (1,73 млрд параметров), фреймворк обучения — Unsloth.Скорость генерации: свыше 200 токенов/с на RTX 4060.
Язык: английский (en), максимальная длина контекста в примере — 4096 токенов.
Бенчмарки в карточке модели не приведены.










Комментарии