DeepSeek-V4.1-Flash-1017-singprobe
встроенный стриминговый страж для языковой модели
2 мин чтенияобновлено
SingProbe — это intrinsic streaming guardrail (внутренний потоковый гардрейл или защитный модуль) для модели DeepSeek-V4.1-Flash-1017. Модуль считывает скрытые состояния базы на определенных слоях генерации и в реальном времени оценивает намерения пользователя, безопасность ответа и риск галлюцинаций для каждого токена. Веса обучены в формате bfloat16 и содержат 10.10M параметров. Релиз пригодится разработчикам, которым требуется надежная фильтрация опасного контента и детекция галлюцинаций на лету во время инференса.
Ключевые особенности
- Чтение трех внутренних слоев базовой модели (12, 25, 39) прямо в процессе генерации токенов.
- Оценка 8 различных вариантов интентов запроса, а также раздельные метрики для безопасности ответа и галлюцинаций.
- Использование 8 голов внимания с размерностью 64 и окном в 2048 токенов.
- Запуск через специальную ветку SGLang для эффективного параллельного инференса.
Что можно сделать
- Развернуть защищенный сервер генерации на базе SGLang для фильтрации токсичного или опасного контента в реальном времени.
- Отслеживать уровень риска галлюцинаций прямо в поле
meta_info.token_probe_probsответов API. - Проверять намерения входящих запросов пользователя по 8 категориям для гибкой маршрутизации диалога.
Пример
Запуск сервера с подключенным пробом через SGLang:
python3 -m sglang.launch_server \
--model-path /home/admin/DeepSeek-V4.1-Flash-1017 \
--probe-ckpt /yijian3/536716/SingGuardStream-Final/release/DeepSeek-V4.1-Flash-1017-singprobe \
--trust-remote-code --tp 8 --ep-size 8 \
--context-length 16384 --port 30000Подробнее
• Параметры проба: 10.10M, задействованы слои [12, 25, 39]• Классификация интентов запросов (F1): 0.8756
• Безопасность ответов (F1): 0.8668
• Потоковая безопасность (Response AUC / token AUC): 0.9907 / 0.9522
• Детекция галлюцинаций (AUC): 0.7951
• Требования: 8 × H20 GPU, специальная ветка SGLang 261029










Комментарии