LFM3_3d_utility_exp3
точечная правка весов для JSON tool calls
2 min readupdated
Модифицированная версия компактной языковой модели LiquidAI/LFM3-1.7B (1,99 млрд параметров с учётом развязанных весов) от автора AlekseyCalvin, адаптированная для локальных ИИ-агентов. Вместо привычного дообучения или LoRA автор вручную сдвинул конкретные строки матрицы выходного слоя lm_head (слоя, который превращает внутренние векторы модели в вероятности следующих токенов). В результате модель при запросе JSON-формата начинает выдавать валидные вызовы инструментов в виде {"name": ..., "arguments": ...} вместо стандартного для LFM3 формата XML и реже уходит в затянутые рассуждения перед вызовом функции. Пригодится разработчикам, которые запускают лёгких локальных агентов на устройствах с ограниченной памятью и используют стандартные JSON-парсеры для tool calling.
Ключевые особенности
- Без обучения и квантования: все изменения внесены статическими математическими сдвигами весов в
lm_headи двух строк эмбеддингов (точки и вопросительного знака), остальные тензоры остались побайтово идентичными оригиналу. - Перевод на JSON tool calls: доля чистых JSON-вызовов выросла с 42,0% до 88,0%, а XML-теги
полностью исчезли из ответов (было 46,7%). - Меньше лишнего текста перед вызовом: частота затянутых рассуждений (ramble rate) снизилась с 82,7% до 64,0%, а медианная длина текста до вызова инструмента сократилась с 769,5 до 508 слов.
- Широкая языковая база: унаследовала от LFM3-1.7B поддержку 16 языков, включая русский и английский, а также контекстное окно до 256K токенов и тройную гибридную архитектуру (свёртки + скользящее и глобальное внимание).
Что можно сделать
- Встроить в локальные агентские обвязки (например, Hermes Agent, Pi или OpenClaw), которым нужен строгий JSON на выходе без переписывания парсера под XML.
- Запускать на ноутбуках или слабых GPU для маршрутизации запросов, вызова API и заполнения структурированных форм на русском и английском языках.
- Использовать опубликованный манифест с индексами строк и коэффициентами как референс для собственных экспериментов по редактированию весов без дообучения.
Пример
from transformers import pipeline
generator = pipeline(
"text-generation",
model="AlekseyCalvin/LFM3_3d_utility_exp3",
trust_remote_code=True,
)
messages = [{"role": "user", "content": "Call weather tool in JSON for Paris"}]
out = generator(messages, do_sample=True, temperature=0.1, top_k=50, repetition_penalty=1.1)
print(out[0]["generated_text"][-1]["content"])
Подробнее
Метрики: чистый JSON — 88,0% против 42,0% у базы; парсируемые ответы — 88,0% против 68,7%; частота лишних рассуждений — 64,0% против 82,7%.Вес файла: 3,98 ГБ в формате BF16 (
tie_word_embeddings: false увеличило число параметров с 1,73B до 1,99B).Рекомендуемые параметры сэмплирования для агентов:
temperature=0.1, top_k=50, repetition_penalty=1.1.Ограничения: как и базовая LFM3-1.7B, модель не предназначена для сложного многошагового рассуждения или агентского программирования.










Comments