body-judge-small-v1
двухголовая модель для фильтрации и оценки AI-ответов
1 мин чтения
Модель создана на базе mmBERT-small и решает сразу две задачи при обработке текстов от языковых моделей. Она находит границы полезного текста (очищая ответ от лишних префиксов, рассуждений и околотемных блоков) и одновременно оценивает каждое предложение по шкале от 0 до 1, показывая, насколько сильно его стоит переписать. Такой инструмент пригодится разработчикам пайплайнов постобработки генеративного контента, системам автофильтрации или авторевьюерам ответов LLM.
Ключевые особенности
- Двухголовая архитектура: одновременный поиск диапазона основного текста и расчет оценки на качество ревизии по каждому предложению.
- Различные варианты точности: доступны веса в fp32, fp16 и динамическом int8 для работы на процессорах или видеокартах.
- Поддержка ONNX: модели легко экспортируются в формат ONNX и ONNX Runtime для кроссплатформенного развертывания.
- Скользящее окно: поддержка обработки длинных текстов с помощью настраиваемых параметров window_tokens и stride_tokens.
Что можно сделать
- Очистка генераций: автоматически вырезать из ответов LLM служебные блоки рассуждений и технические префиксы.
- Контроль качества текста: оценивать сгенерированные статьи или ответы на предмет предложений, требующих редактуры.
- Интеграция в бэкенд: встроить модель в пайплайн проверки чат-ботов с помощью готовых скриптов на PyTorch или ONNX.
Пример
python infer.py --ckpt ./model_fp16.pt --device cuda --text_file reply.txtПодробнее
Базовая модель: alphaedge-ai/mmBERT-small-zho-32768 (ModernBERT-small)Метрики: IoU основного текста 0.9900, Spearman для оценки предложений 0.7016
Лицензия: MIT
Языки: китайский, английский










Комментарии