LFM3-1.7B-abliterated

xJoePec выложил abliterated-версию LiquidAI/LFM3-1.7B, сделанную через Heretic v2.0.0. Это text-only модель на 1.73B параметров с tri-hybrid архитектурой, контекстом 256K токенов и поддержкой 16 языков, включая русский.

▶ Ключевые особенности

• ▶ По карточке, отказы снижены до 0/100 против 91/100 у оригинальной LFM3-1.7B.
• ➕ Arbitrary-Rank Ablation затрагивает слои 11–18; параметры ARA указаны, модель воспроизводима.
• 🔤 Архитектура: 24 слоя — 13 gated short convolutions, 5 sliding-window attention и 6 global attention.
• 🔜 Контекст 256K токенов, словарь на 128 000 токенов, 16 языков.
• ➖ В 4-bit занимает около 1 ГБ памяти; оригинал не рекомендован для agentic coding и сложного многошагового reasoning.

▶ Пример

from transformers import pipeline
generator = pipeline("text-generation", model="xJoePec/LFM3-1.7B-abliterated", trust_remote_code=True)
messages = [{"role": "user", "content": "Explain how a heat pump works."}]
out = generator(messages, do_sample=True, temperature=0.1, top_k=50, repetition_penalty=1.1, max_new_tokens=512)
print(out[0]["generated_text"][-1]["content"])

Подробнее

Refusals: 0/100 против 91/100 у LiquidAI/LFM3-1.7B.
KL divergence: 0.0621; у оригинала 0 по определению.
ARA: слои 11–18, preserve_good_behavior_weight 0.6033, steer_bad_behavior_weight 0.0013.
Ограничение: небольшая модель, не для сложного кодинга и многошагового reasoning.