LingSante-3.1-flash-MXFP4
квантованная версия гигантской медицинской MoE-модели
2 мин чтения
Новая открытая модель от inclusionAI объединяет сложные медицинские рассуждения, профессиональную коммуникацию в здравоохранении, доказательные исследования и долгосрочные задачи. Архитектура построена на базе LingSante-3.1-flash с использованием гибридно-линейного подхода Mixture-of-Experts (MoE — смесь экспертов, когда для каждого токена активируется лишь часть параметров). Модель содержит около 560 миллиардов параметров в общей сложности (из них 25 миллиардов активных на один токен) и поддерживает контекстное окно до 262 144 токенов. Данная версия использует квантование MXFP4 (метод округления до ближайшего без дополнительного обучения), что позволяет значительно снизить требования к памяти при сохранении базовых возможностей.
Ключевые особенности
- Сложные медицинские рассуждения: выявление ключевых факторов клинических решений и проверка доказательной базы.
- Долгосрочные медицинские задачи: координация инструментов и информации в рамках единого динамического сценария.
- Профессиональное поведение: адаптация ответов под реальные клинические сценарии и стандарты безопасности.
- Смешанное квантование MXFP4: оптимизация весов экспертных модулей для эффективного развертывания.
Что можно сделать
- Медицинские исследования: применять для анализа литературы, синтеза доказательств и обработки клинических документов.
- Разработка агентов: создавать специализированные ассистенты для работы с медицинскими данными и поиском.
- Извлечение информации: строить системы структурированного извлечения данных для сферы здравоохранения.
Пример запроса к развернутому серверу через SGLang API с поддержкой рассуждений:
curl -N -sS "http://localhost:30080/v1/chat/completions" \
-H 'Content-Type: application/json' \
-d '{
"model": "LingSante-3.1-flash-MXFP4",
"messages": [{"role": "user", "content": "What is the capital of France?"}],
"chat_template_kwargs": {"enable_thinking": true},
"stream": true,
"max_tokens": 512
}'Подробнее
Базовая модель: LingSante-3.1-flashРазмер чекпоинта: 291.72 GiB
Рекомендуемое железо: 4 × NVIDIA H20-3e (TP4 / EP4 / DP1)
Ограничения: не является медицинским изделием и не заменяет квалифицированных специалистов










Комментарии