LFM3-1.7B-RD

Экспериментальная LLM от cybertruck32489 на базе LiquidAI/LFM3-1.7B (1,96 млрд параметров). 24 слоя исходной tri-hybrid архитектуры пересобраны в схему Prelude → Shared Recurrent Core → Coda, а число recurrent-шагов на токен меняется от 1 до 32. Модель ориентирована на reasoning, математику, код и tool-calling.

✨ Ключевые особенности

• 🤖 20 средних слоёв вынесены в общее recurrent-ядро с phase-specific LoRA-адаптерами.
• ⏳ На каждый токен выполняется от 1 до 32 шагов ядра: пресеты low, fast, medium, high, max.
• 👁 В режиме auto контроллер по скрытому состоянию, скорости шага и дрейфу выбирает глубину и вероятность остановки.
• 💻 При раннем выходе отдельно добирается FFN-хвост, а KV-cache откатывается к каноническому состоянию.
• 🌎 Контекст 256K токенов, словарь 128K, 16 языков, включая русский.
• 📌 bfloat16, библиотека transformers, лицензия LFM Open License v1.0.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
mid = 'cybertruck32489/LFM3-1.7B-RD'
tok = AutoTokenizer.from_pretrained(mid, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(mid, torch_dtype=torch.bfloat16, device_map='auto', trust_remote_code=True)
inputs = tok('Привет!', return_tensors='pt').to(model.device)
out = model.generate(**inputs, max_new_tokens=128, reasoning_effort='auto')

Подробнее

Валидационная PPL: 1.825 при T=5, 1.818 при T=12, 1.820 при T=32.
В auto средняя глубина 2.75 на простых промптах и 3.52 на сложных, пик — 21 шаг.
Обучение: 1250 шагов AdamW8bit на H100, окна по 2048 токенов, 7 датасетов.
Это экспериментальная конверсия архитектуры; лицензия LFM Open License v1.0.