LFM2.5-24B-A2B-smallthink-lora
быстрые рассуждения для поисковых агентов
2 мин чтенияобновлено
Адаптер LoRA (небольшая надстройка над базовой моделью) от nekomimi-llc для гибридной модели LiquidAI/LFM2.5-24B-A2B, который учит нейросеть думать лаконично. Оригинальная модель перед простыми задачами веб-поиска тратит около 2 000 токенов на внутренние рассуждения (thinking), из-за чего ответ занимает 15–19 секунд и иногда упирается в лимит контекста. Этот адаптер ужимает этап размышлений до ~65 токенов без потери качества на целевых задачах, снижая время ответа до 1.3–1.4 секунды. Решение пригодится разработчикам ИИ-агентов и RAG-систем (поисковой генерации), где важны быстрый отклик и строгая опора на факты без галлюцинаций.
Ключевые особенности
- Радикальное сокращение thinking-токенов: медиана размышлений падает с 1 978–2 433 до 65–66 токенов, полностью избавляя от пустых ответов из-за переполнения лимита.
- Сохранение качества при меньших выдумках: в слепом сравнении от Claude Opus модель выступает наравне с 27B-конкурентом и базовой LFM, но делает меньше неподтверждённых утверждений (21 против 48 в дайджестах).
- Точечное обучение: натренированы 9.36M параметров (rank 16) на проекциях внимания, свертках и плотных слоях, тогда как роутер и эксперты MoE остались замороженными.
- Готовая квантованная сборка: авторы уже выложили версию в формате GGUF для локального запуска через llama.cpp.
Что можно сделать
- Построить быстрый поисковый пайплайн: использовать модель в сервисах вроде
web-extractдля отсева нерелевантных ссылок и переписывания поисковых запросов. - Автоматизировать сборку превью и дайджестов: извлекать дословные цитаты из веб-страниц и формировать краткие сводки строго по тексту источника без выдуманных фактов.
- Запустить локально на одной видеокарте: развернуть квантованную версию (IQ3_XXS) в llama.cpp с шаблоном
lfm25-template.jinja, где рассуждения отделяются в полеreasoning_content.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("LiquidAI/LFM2.5-24B-A2B", dtype="bfloat16", device_map="auto")
model = PeftModel.from_pretrained(base, "nekomimi-llc/LFM2.5-24B-A2B-smallthink-lora")
tok = AutoTokenizer.from_pretrained("LiquidAI/LFM2.5-24B-A2B")
Подробнее
Бенчмарки (79 запросов, IQ3_XXS, llama.cpp на 1× GPU 12 ГБ): медианное время ответа упало с 15.3 с до 1.32 с на превью и с 19.4 с до 1.38 с на дайджестах; val loss снизился с 2.447 | 0.934 до 1.045 | 0.603.Обучение: 6 010 примеров (9.15M токенов) от учителя GPT-6 Luna, 2 эпохи (74 минуты на 1× A100 80 ГБ).
Ограничения: адаптер заточен под 7 узких задач с фиксированными системными промптами и не тестировался вне их; при слиянии весов (merge) требуется точность fp32 (в bf16 теряется ~59% обновления).
Лицензия: LFM Open License v1.0 (есть ограничения на коммерческое использование для крупных компаний).










Комментарии