LFM3-1.7B-DERISKED

Это публичная ungated-производная от LiquidAI/LFM3-1.7B, собранная Blackfrost-AI для контролируемых исследований малых моделей и локальных агентных обвязок. База — Lfm3ForCausalLM на 1.73B параметров: 24 tri-hybrid decoder-слоя, 13 gated short convolutions, 5 sliding-window attention и 6 full attention; контекст — 262 144 токена input+output.

📝 Ключевые особенности

• 📝 Запечённая Domain Weight Modification: one-pass rank-one subtraction в float32 для attention-проекций q/k/v/o в слоях 4–23; формула — W − 3.0 × (W @ d) outer d.
• 🫡 Изменены 40/40 целевых тензоров, без правок non-target тензоров и без nonfinite значений; веса сохранены в BF16, 286 тензоров в одном model.safetensors.
• 😎 Сохранены гибридная архитектура LFM3, кастомный upstream-код и native thinking template; заявлен контекст 262 144 токена.
• 🤔 Ограничения раскрыты: 50-row smoke дал 12 direct deliveries, 13 partial/substitutions и 25 refusals; в cyber-10 — 9 попыток выполнить запрошенное, но техническая оценка: 1 mostly valid, 4 partial/unreliable, 4 invalid, 1 non-delivery.
• 😐 Готовы 5/8 проверок; полная S3 geometry/distribution qualification, S7 capability preservation и safety red-line qualification — pending.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = 'Blackfrost-AI/LFM3-1.7B-DERISKED'
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, dtype='bfloat16', device_map='auto')

Подробнее

Бенчмарков нет: карточка прямо не заявляет benchmark, throughput, refusal-rate, safety или capability для этой производной.
Память отдельно не измерялась; диагностический сервис работал в BF16 на одной NVIDIA RTX PRO 6000 Blackwell.
Для локального запуска нужен совместимый GPU с памятью под веса, KV cache и выбранный контекст.
Это research-артефакт с открытыми ограничениями, а не сертифицированная безопасная система.