LFM3-1.7B-heretic
версия LFM3-1.7B без отказов отвечать
2 мин чтенияобновлено
Компактная языковая модель на 1.73B параметров от пользователя bambocher, созданная на базе LiquidAI/LFM3-1.7B с помощью инструмента Heretic v2.1.0 (метод абляции весов для снятия встроенных отказов). Оригинальная LFM3-1.7B построена на гибридной архитектуре из 24 слоёв и заточена под локальных ИИ-агентов, вызов внешних инструментов и работу со структурированными данными. В этой версии количество отказов на тестовом наборе снизили с 93/100 до 0/100 при минимальном отклонении от исходного поведения модели. Модель поддерживает 16 языков, включая русский, и благодаря малому весу подходит для запуска прямо на ноутбуке или смартфоне.
Ключевые особенности
- Снятие цензуры через Arbitrary-Rank Ablation (метод точечного редактирования слоёв с 5-го по 23-й): 0 отказов из 100 против 93/100 у оригинала.
- Три-гибридная архитектура (gated short convolutions, sliding-window и global attention) с огромным контекстным окном на 256K токенов.
- Работает на слабом железе: в 4-битном квантовании (сжатии весов для экономии памяти) занимает около 1 ГБ памяти.
- Поддержка 16 языков, включая русский, английский, китайский и основные европейские языки.
Что можно сделать
- Встроить в локальные агентские фреймворки (Hermes Agent, Pi, OpenClaw) для выполнения задач без ложных срабатываний фильтров.
- Использовать для генерации структурированных ответов и вызова функций (tool calling) на устройствах с ограниченной памятью.
- Дообучить под узкий домен или формат данных на одной видеокарте с помощью библиотеки TRL.
Пример
from transformers import pipeline
generator = pipeline("text-generation", model="bambocher/LFM3-1.7B-heretic", trust_remote_code=True)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(messages, do_sample=True, temperature=0.1, top_k=50, repetition_penalty=1.1, max_new_tokens=2048)
print(output[0]["generated_text"][-1]["content"])
Подробнее
Отказы (Refusals): 0/100 (у базовой LFM3-1.7B — 93/100), KL divergence (мера отклонения распределения ответов от оригинала): 0.7091.Требования к памяти: около 1 ГБ в 4-битной точности (подходит для телефонов и ноутбуков).
Ограничения: из-за размера 1.73B не рекомендуется для сложного многошагового рассуждения и агентского программирования; для фактологических задач лучше подключать поиск (RAG).










Комментарии