LFM2.5-2.6B
компактная агентская модель с контекстом 128K
2 min readupdated
LFM2.5-2.6B — текстовая нейросеть семейства LFM2.5 от Liquid AI (в репозитории Jwsudar24), созданная для локального запуска прямо на пользовательских устройствах. Модель построена на гибридной архитектуре LFM2 (2.69 млрд параметров, сочетание свёрточных блоков и внимания GQA), умеет рассуждать перед ответом через тег и поддерживает 16 языков, включая русский. От базовой LFM2.5-2.6B-Base она отличается многоэтапным дообучением под агентские задачи и вызов внешних инструментов (tool use), благодаря чему конкурирует с моделями в 4 раза большего размера. Подойдёт разработчикам локальных ИИ-агентов, систем поиска по документам (RAG) и инструментов извлечения данных без облачных серверов.
Ключевые особенности
- Гибридная архитектура и длинный контекст: 30 слоёв (22 блока двойной короткой свёртки + 8 GQA) с окном контекста до 131 072 токенов.
- Встроенное рассуждение (reasoning): модель всегда обдумывает задачу перед ответом, автоматически открывая тег
в шаблоне диалога. - Нативная работа с инструментами: обучена внутри популярных агентских сред через reinforcement learning, умеет вызывать функции как в стиле Python-списков, так и в JSON.
- Высокая скорость на локальном железе: выдаёт 220 токенов/с на Apple M5 Max и 113 токенов/с на процессоре AMD Ryzen, занимая менее 2.5 ГБ памяти.
- Мультиязычность: из коробки работает на 16 языках, включая русский, английский, китайский, немецкий и японский.
Что можно сделать
- Подключить к агентским фреймворкам: в карточке есть готовые конфиги для связки модели с Hermes, OpenClaw и Pi через локальный сервер (llama.cpp, MLX, vLLM, SGLang или LM Studio).
- Запустить локальный RAG и извлечение данных: использовать окно в 128K токенов для анализа длинных документов и структурированного парсинга без отправки данных в облако.
- Ускорить генерацию через speculative decoding: подключить модель-черновик
LFM2.5-2.6B-DSpark(328M), чтобы получить ускорение декодирования примерно в 2.6 раза при идентичных ответах.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "LiquidAI/LFM2.5-2.6B"
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer.apply_chat_template([{"role": "user", "content": "What is C. elegans?"}], add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, temperature=0.1, top_k=50, repetition_penalty=1.1, max_new_tokens=512)
print(tokenizer.decode(out[0]))
Подробнее
Память и скорость: менее 2.5 ГБ RAM; 220 tok/s на Apple M5 Max, 113 tok/s на AMD Ryzen CPU.Обучение: претрейн на ~34 трлн токенов, расширение контекста до 128K и 4 этапа пост-тренинга (2 раунда SFT, дистилляция и agentic RL).
Ограничения: авторы не рекомендуют использовать модель для агентского программирования (agentic coding) и задач, требующих энциклопедических знаний.
Доступные форматы в линейке: Transformers, GGUF, ONNX, MLX.










Comments