egemma-td-v2

egemma-td-v2 от nekomimi-llc — компактная 272M-параметровая модель для feature-extraction. Она отвечает yes/no на вопросы о результатах веб-поиска и абзацах страниц: стоит ли открывать результат, есть ли в абзаце доказательство, нет ли попытки дать инструкции ассистенту. Это файнтюн mrm8488/embeddinggemma-2-ft-typed-decision, обученный повторять ответы более крупной remote-модели Jev 1.13.

✨ Ключевые особенности

• ✅ Для search result оценивает useful: вероятно ли, что страница содержит доказательства по запросу.
• ✅ Для абзацев отвечает на relevant, evidence, contradiction и injection; абзацы с injection отбрасываются при score ≥ 0.85.
• 💻 В продакшене локально решает useful и evidence, если вероятность ≤ 0.1 или ≥ 0.9; неопределённые случаи уходят в remote Jev 1.13.
• 🕷 В v2 добавили 6 092 внешних prompt-injection окна с весом 2x; обучение — 2 эпохи.
• 📓 Обучена на 44 915 строках из 6 711 remote calls; оценка — на 2 589 held-out строках.

💻 Пример

from transformers import AutoModel
model = AutoModel.from_pretrained("nekomimi-llc/egemma-td-v2", trust_remote_code=True).eval()
model.config.max_seq_length = 256
state = {"query": "how does a B-tree stay balanced", "passage": {"title": "B-tree - Wikipedia", "heading": "Insertion and deletion", "text": "A B-tree is kept balanced after insertion by splitting a would-be overfilled node into two d-key siblings."}}
questions = {"evidence": {"type": "noul", "instructions": "Does the passage explicitly answer AT LEAST ONE part of the query?"}}
answers = model.decide(state, questions, workflow="web_search_evidence")
print({k: v.to_dict() for k, v in answers.items()})

Подробнее

AUC v2: useful 0.940, evidence 0.897, relevant 0.894.
Injection: AUC 0.993 на InjecAgent и 0.97 на AgentDojo, но recall на пороге 0.85 — всего 3–5% вне распределения, поэтому проверку оставляют remote-модели.
Ограничения: вход обрезается до 256 токенов, обучение шло на английском веб-поиске, средние вероятности 0.1–0.9 менее надёжны.
Модель наследует границы решений учителя Jev 1.13.