EvidenceGuard
точный выбор ответов по контексту
2 мин чтенияобновлено
Эта модель создана на базе Qwen3.8-27B (крупная языковая модель открытой архитектуры) с помощью библиотеки peft (инструмент для эффективной донастройки моделей). Она отвечает на вопросы с вариантами ответов строго на основе предоставленного текста, а если информации не хватает — сообщает об этом. Вместо генерации длинного текста модель анализирует логиты (числовые оценки вероятностей) на первой позиции ответа, что позволяет работать быстро и точно.
Ключевые особенности
- Строго по контексту: минимизирует галлюцинации и опирается только на переданные данные.
- Без генерации: выдает результат за один проход (single forward pass) без долгого рассуждения.
- Высокая точность: на специализированном тесте EvidenceGuard обходит многие коммерческие API и reasoning-модели.
- Эффективный доук: использует LoRA (небольшая надстройка над базовой моделью) поверх мощного фундамента.
Что можно сделать
- Анализ документов: проверять договоры, инструкции и базы знаний на соответствие фактам.
- Интеграция в пайплайны: встраивать в системы автоматического тестирования и проверки ответов.
- Обработка тестов: автоматизировать прохождение опросников с вариантами ответа (от 2 до 8 опций).
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer
base = "Qwen/Qwen3.8-27B"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, torch_dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "EvidenceGuard-Experiments/evidenceguard").eval()Подробнее
Бенчмарки: 86.5% правильных вопросов на тестовом сплите EvidenceGuard (77.6% групп полностью верно).Требования к железу: запуск требует мощной видеокарты (например, одной H200 GPU, медианная задержка около 0.12 с на вопрос).
Ограничения: обучена и протестирована только на английских вопросах с 2–8 вариантами ответа, это не универсальный чат-бот.










Комментарии