LFM3-1.7B ARA Abliterated

Это независимая версия LiquidAI/LFM3-1.7B от Austriani: 1.73B параметров, tri-hybrid архитектура Liquid AI для edge-запусков и длинного контекста. В карточке заявлены 256K tokens контекста и абляция отказов методом ARA via Heretic.

🔥 Ключевые особенности

• 🦾 Используется Arbitrary-Rank Ablation (ARA), а не классическая directional ablation: матричная оптимизация L-BFGS по трём целям.
• Ⓜ Заявлены KLD 0.0374 относительно базовой модели и 5 отказов на 100 adversarial-промптов в mlabonne/harmful_behaviors.
• 🔥 Все параметры ARA раскрыты: слои 11–23, preserve_good 0.8435, steer_bad 0.0007, overcorrect 0.2399, neighbors 14.
• 🏔 Архитектура: 24 слоя, 13 gated short conv, 5 слоёв sliding-window attention и 6 слоёв global attention; контекст до 256K tokens.
• ✅ По карточке, на коротких промптах примерно соответствует LFM2-1.2B и примерно на 25% быстрее на 8K контексте.

🧘 Пример

Сценарий из карточки — edge-агент с длинным контекстом: модель рассчитана на 256K tokens и должна оставаться кооперативной на большинстве adversarial-промптов; авторы сообщают 5 отказов на 100.

Подробнее

KLD 0.0374 к базе; 5/100 отказов на mlabonne/harmful_behaviors.
24 слоя, 1.73B параметров, контекст 256K; требования к VRAM в карточке не указаны.
ARA via Heretic, окно слоёв 11–23; preserve_good 0.8435, steer_bad 0.0007, overcorrect 0.2399.
Модель English-only; это не заявка на лидерборд, а воспроизводимый независимый прогон с раскрытыми параметрами.