Tiny Aya Hallucination Guard

Это небольшой линейный guard весом 27 КБ для CohereLabs/tiny-aya-fire. Он оценивает вероятность того, что ответ в режиме open-book неверен, по трём сигналам: скрытому состоянию 24-го слоя на последнем токене ответа, cosine similarity вопроса и пассажа из intfloat/multilingual-e5-small и средней логвероятности ответа. В репозитории только guard: базовая модель gated и не распространяется.

🔥 Ключевые особенности

• 🧐 Работает как отдельный слой поверх Tiny Aya Fire и возвращает risk score и решение.
• 👀 Учитывает сразу три признака: activation, similarity и mean log-probability.
• 🫡 Два режима: joint и selective с разными порогами риска.
• ⛔ Не повышает точность модели, а снижает риск доставки неверных ответов.
• 🚫 Не переносится на другую модель, промпт или слой без переобучения.

🧐 Пример

from guard import Guard

guard = Guard("guard_fire.npz")
risk = guard.risk(activation, similarity, mean_logprob)
deliver = guard.decide(risk, rule="joint")

Подробнее

Режим joint: лимит риска 0.4473, на locked test set 6.6% неверных при 46.3% отвеченных.
Режим selective: лимит 0.3632, 10.9% неверных среди отвеченных при 39.9% отвеченных.
Калибровка на TyDiQA; guard удерживает много правильных ответов. Лицензия весов — CC-BY-NC-4.0. Не медицинское изделие.