lfm3-1.7b-sweep-sft
компактная модель для автодополнения и правки кода
2 мин чтенияобновлено
Экспериментальный файнтюн (дообучение) языковой модели LiquidAI/LFM3-1.7B-Base размером 1.73 млрд параметров от независимого автора Walltim3. Модель предназначена для автодополнения кода и предсказания следующих правок в стиле редактора Zed (next-edit prediction). В отличие от исходной базовой модели общего назначения, здесь все веса полностью обновлены под задачи программирования, причём разные этапы экспериментов разделены по отдельным git-тегам репозитория. Подойдёт разработчикам, которым нужна лёгкая локальная модель для интеграции в IDE и экспериментов с предсказанием правок.
Ключевые особенности
- Построена на базе компактной модели LFM3-1.7B-Base (1.73B параметров), в ходе дообучения изменены все веса.
- Разные варианты обучения организованы через теги ревизий (
revision) в одном репозитории. - Первый готовый вариант
code-sftобучен на 36 тыс. решений из датасета KodCode-V1 в чат-формате. - В планах автора — релизы
code-fim(заполнение середины кода в формате Zedqwen) иsweep-sft-*(предсказание правок в формате Zedsweep) на базеbigcode/commitpack.
Что можно сделать
- Подключить лёгкую модель на 1.73B параметров через библиотеку
transformersдля локальных тестов автодополнения кода. - Протестировать разные ревизии репозитория (начиная с тега
code-sft) для сравнения качества генерации решений по программированию.
Пример
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Walltim3/lfm3-1.7b-sweep-sft",
revision="code-sft",
trust_remote_code=True,
)
Подробнее
Статус: work in progress (экспериментальный релиз без гарантий качества).Лицензия: LFM Open License v1.0, но тег
code-sft строго для некоммерческого использования (из-за лицензии CC BY-NC 4.0 у датасета KodCode).В папке
checkpoints/ хранятся промежуточные состояния обучения.









Комментарии