LFM3-1.7B-Flash
ускорение инференса для языковой модели
2 мин чтенияобновлено
Модель добавляет спекулятивное декодирование (метод ускорения генерации токенов) к базовой LLM LiquidAI/LFM3-1.7B с помощью специальной архитектуры draft head (головы предварительной генерации) и поиска по суффиксам. Она позволяет получать ответы в 2–4 раза быстрее без потери точности и совпадения результатов с оригинальной моделью. Решение подключается через стандартную библиотеку transformers и отлично подходит для локальных ассистентов, парсинга данных, работы с JSON и фоновых задач.
Ключевые особенности
- Спекулятивное декодирование: использует 2-слойную голову Osprey и поиск по суффиксам/промптам для ускорения генерации.
- Гибкая настройка: поддерживает регулировку размера дерева поиска, параметров блока и выборку из токенизатора.
- Совместимость с transformers: загружается стандартным методом
AutoModelForCausalLM.from_pretrained()с поддержкой флага активации. - Мультиязычность: сохраняет высокую точность при работе с запросами на русском и других языках.
Что можно сделать
- Локальный RAG-поиск: развернуть быструю систему ответов по собственным текстовым заметкам и документам.
- Извлечение структуры: парсить неструктурированные заметки и сообщения в готовые JSON-объекты.
- Интеграция с ботами: использовать модель в Telegram-ботах для мгновенных ответов и генерации коротких сводок.
- Парсинг веб-страниц: автоматизировать извлечение данных из HTML-карточек товаров и новостных дайджестов.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "cybertruck32489/lfm3-1.7b-flash"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id,
dtype=torch.float16,
device_map="auto",
trust_remote_code=True,
).eval()
model.prepare_flash_inference()
inputs = tokenizer("Explain TCP vs QUIC", return_tensors="pt").to(model.device)
output_ids = model.generate(**inputs, max_new_tokens=128, use_dflash=True)
print(tokenizer.decode(output_ids[0]))Подробнее
• Базовая модель: LiquidAI/LFM3-1.7B (1.87 млрд параметров)• Производительность: ускорение до 4.56x на задачах извлечения JSON на карте NVIDIA Tesla T4
• Лицензия: LFM Open License v1.0
• Особенности обучения: поддержка head-reordered словаря на 48K токенов










Комментарии