Zeus v22
верификация утверждений по тексту
1 мин чтенияобновлено
Модель Zeus v22 создана для проверки фактов: она принимает на вход утверждение и несколько отрывков текста, после чего определяет, подтверждают ли они его, опровергают или не содержат информации об этом. На выходе модель выдает точную цитату-доказательство и струкнный JSON-ответ с вердиктом. В основе лежит архитектура mistralai/Mistral-7B-Instruct-v0.2 с надстройкой LoRA (небольшая надстройка над базовой моделью для дообучения), обученная на более чем 36 тысячах примеров. Она пригодится разработчикам систем поиска информации, фактчекинга и автоматического анализа текстов на достоверность.
Ключевые особенности
- Точное определение статуса утверждения (supported, contradicted, not_covered)
- Выделение точной цитаты из текста в качестве доказательства
- Работа в рамках предоставленных отрывков без галлюцинаций о внешних фактах
- Вывод результата в строгом JSON-формате
Что можно сделать
- Интегрировать в пайплайны фактчекинга и проверки ответов языковых моделей
- Использовать для анализа документов и сверки тезисов с первоисточниками
- Строить сервисы проверки утверждений по базам знаний
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "Heliusnetwork/zeus")
tok = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.2")Подробнее
Метрики: 73.3% на VitaminC dev, 92.0% на Commons eval v3Обучение: LoRA rank 8 на q_proj и v_proj за 60 минут на A100-40GB
Лицензия: Apache 2.0 (как у базовой модели)










Комментарии