AMANA-QE
оценка смысла перевода медицинских инструкций
2 мин чтения
Исследовательская модель от momen-ibrahim: получает английскую инструкцию к лекарству и арабский перевод, возвращает score того, что перевод сохранил смысл. Основа — LaBSE (0,47 млрд параметров), дообученная как двухклассовый cross-encoder. Языки: en/ar.
Ключевые особенности
- Сравнивает исходник и перевод как cross-encoder, а не кодирует их независимо.
- Возвращает ranking score для выбора лучшего варианта среди переводов одного исходника.
- Обучена на AMANA-Bench: сгенерированные инструкции с одной критической ошибкой — доза, единица, частота, путь, отрицание и т.п.
- Разделение по лекарствам: 13 тестовых препаратов не встречались при обучении.
- Это не safety-check и не медицинское изделие; фиксированный порог применять нельзя.
Пример
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
tok = AutoTokenizer.from_pretrained("momen-ibrahim/amana-qe")
model = AutoModelForSequenceClassification.from_pretrained("momen-ibrahim/amana-qe").eval()
enc = tok([src] * len(hyps), hyps, truncation=True, max_length=192, padding=True, return_tensors="pt")
with torch.no_grad():
score = torch.softmax(model(**enc).logits, -1)[:, 1] # label 1 = meaning kept
print(score)
Сравнивайте score между кандидатами для одного и того же исходника; не читайте его как вероятность.
Подробнее
На held-out препаратах с теми же шаблонами: AUROC 0,999, ложные срабатывания при 0,5 — 0%, ECE 0,009.На TICO-19 с внедрённой числовой или отрицательной ошибкой: AUROC 0,80, но 70% ложных срабатываний при 0,5.
На невиданных типах ошибок — AUROC 0,66–0,73; source-blind n-gram baseline даёт 0,711, так что часть эффекта может идти от арабского текста.
Веса — Apache 2.0; клинической валидации нет, естественные ошибки перевода не тестировались.










Комментарии