Laguna-XS.2-FP8
компактная MoE-модель для агентского программирования
2 мин чтенияобновлено
Laguna XS.2-FP8 — квантизованная до формата FP8 (8-битная плавающая точка для экономии видеопамяти) версия языковой модели от Poolside, созданная для разработки ПО и автономных кодинг-агентов на локальном железе. Архитектурно это MoE (Mixture-of-Experts — «смесь экспертов», где на каждый токен включается только часть сети): из 33B общих параметров активно всего 3B, что ускоряет генерацию. В 30 из 40 слоёв используется Sliding Window Attention (внимание в скользящем окне на 512 токенов) с по-головым гейтингом, а KV-кэш также сжат в FP8 для снижения расхода памяти. Модель поддерживает контекст до 131 072 токенов, умеет рассуждать между вызовами инструментов и пригодится разработчикам, которым нужен сильный локальный ассистент с открытой лицензией Apache 2.0.
Ключевые особенности
- Экономичная архитектура MoE: 33B общих параметров при 3B активных на токен (256 экспертов + 1 общий) и чередование слоёв SWA и глобального внимания в пропорции 3:1.
- Встроенный режим рассуждений (reasoning): модель умеет размышлять перед вызовом инструментов и между шагами, а режим thinking можно включать или отключать для каждого запроса.
- Готовность к локальному запуску: при 33B параметров модель помещается на Mac с 36 GB RAM и поддерживается в vLLM, Transformers, TRT-LLM, Ollama и mlx-lm.
- Свободная лицензия Apache 2.0: разрешено бесплатное коммерческое и некоммерческое использование и модификация.
Что можно сделать
- Локальный агент для работы с кодом и терминалом: подключить модель в vLLM или Ollama с поддержкой tool calling для выполнения bash-команд, отладки и длинных многошаговых задач в репозитории.
- Гибкий выбор режима под задачу: оставлять включённым preserved thinking для сложного проектирования и рефакторинга или отключать
enable_thinkingдля быстрой генерации типовых функций.
Пример
VLLM_USE_DEEP_GEMM=0 vllm serve \
--model poolside/Laguna-XS.2-FP8 \
--tool-call-parser poolside_v1 \
--reasoning-parser poolside_v1 \
--enable-auto-tool-choice \
--default-chat-template-kwargs '{"enable_thinking": true}' \
--kv-cache-dtype-skip-layers $(seq 0 39) \
--moe_backend marlin
Подробнее
Бенчмарки (для BF16-версии): SWE-bench Verified — 68.2%, SWE-bench Multilingual — 62.4%, SWE-bench Pro — 44.5%, Terminal-Bench 2.0 — 30.1%.Железо и ограничения: на GPU не-Hopper архитектуры FP8 KV-кэш может выдавать искажённый вывод — в vLLM его нужно отключать флагом
--kv-cache-dtype-skip-layers для всех 40 слоёв.Обучение: pre-training, post-training и RL с оптимизатором Muon; также доступны варианты BF16, NVFP4 и INT4.










Комментарии