LFM3-1.7B

LiquidAI выпустила LFM3-1.7B — текстовую модель на 1.73B параметров с новой tri-hybrid архитектурой. Она пост-тренирована под агентные харнессы (Hermes Agent, Pi, OpenClaw) и рассчитана на запуск прямо на телефоне или ноутбуке. Контекст — 256K токенов, поддержка 16 языков, включая русский.

😎 Ключевые особенности

• 💻 В 4-bit занимает около 1 ГБ памяти — помещается на любое мобильное устройство
• 🔮 Tri-hybrid архитектура: 24 слоя — 13 gated short convolutions, 5 sliding-window attention и 6 global attention
• 📚 Контекст 256K токенов (вход + выход), словарь на 128K токенов
• 🛍 Готовые чекпоинты: BF16, FP8, NVFP4, GGUF (llama.cpp, Ollama, LM Studio), MLX для Apple Silicon, ONNX
• ✨ Быстрый файнтюнинг на одной GPU через TRL: SFT, DPO, GRPO, CPT

💻 Пример

from transformers import pipeline

generator = pipeline("text-generation", model="LiquidAI/LFM3-1.7B", trust_remote_code=True)
messages = [{"role": "user", "content": "What is C. elegans?"}]
output = generator(messages, do_sample=True, temperature=0.1, top_k=50,
                   repetition_penalty=1.1, max_new_tokens=2048)
print(output[0]["generated_text"][-1]["content"])

Подробнее

Не рекомендована для агентного кодинга и сложных многошаговых рассуждений из-за размера.
Лицензия LFM Open License v1.0.
Sampling: temperature=0.1, top_k=50, repetition_penalty=1.1 для общих задач; temperature=1.0, top_p=0.95, top_k=20 для math/STEM.
Reasoning включён по умолчанию, отключается через enable_thinking=False (поведение может быть нестабильным).
По заявлению LiquidAI, модель закрывает агентные задачи, для которых раньше требовалось 9B параметров.