ContextGuard (rl_web)
API модерации с языковым роутингом и GRPO
2 мин чтенияобновлено
Готовый сервис на FastAPI и Streamlit для модерации пользовательских текстов с предварительным определением языка. Система сама направляет английские сообщения в дообученный DistilBERT, а тексты на хинди (включая Hinglish — хинди на латинице) и смешанные фразы — в HingBERT. Дополнительно модель facebook/bart-large-mnli определяет тематику сообщения (политика, новости, юмор, жалоба или обычный чат), после чего локальная языковая модель Qwen, обученная через GRPO (метод обучения с подкреплением для выравнивания ответов), выносит итоговый вердикт: пропустить, предупредить или эскалировать.
Ключевые особенности
- Умный языковой роутер: использует FastText (
lid.176.ftz), анализ символов Unicode и признаки романизированного хинди для выбора нужного классификатора. - Zero-shot анализ контекста: определяет категорию текста (
political,news,humor_meme,rant,casual) черезfacebook/bart-large-mnliс настраиваемым порогом уверенности. - Итоговое решение через GRPO: локальный чекпоинт Qwen оценивает вероятности токсичности и тип контента, возвращая одно из трёх действий (
BENIGN,WARN,ESCALATE). - Полностью офлайн-режим: сервис не скачивает веса из сети при запуске и проверяет наличие всех локальных артефактов, возвращая безопасную ошибку 503 при сбое.
Что можно сделать
- Развернуть локальный микросервис модерации комментариев и чатов, где смешиваются английский и хинди.
- Протестировать работу пайплайна в интерактивном веб-интерфейсе на базе Streamlit (
chatui.py). - Использовать скрипты обучения (
grpo.py) как шаблон для дообучения моделей модерации с весами наград в зависимости от категории контента.
Пример
cd rl_web
uvicorn 4_prodgate:app --host 127.0.0.1 --port 8000
streamlit run chatui.py
Подробнее
Базовые модели: DistilBERT (английский), HingBERT (хинди/Hinglish),facebook/bart-large-mnli (тип контента), Qwen (GRPO-чекпоинт).Поддерживает работу на CUDA или CPU; для запуска требуются локально размещённые веса чекпоинтов и файл FastText
lid.176.ftz.Ограничение: задеплоенный чекпоинт
checkpoint-500 обучался без полей платформы и вероятностей в промпте — для их полноценного учёта требуется переобучение по актуальному grpo.py.









Комментарии