ANT-4B

ANT-4B — открытая System 1 decision-модель от Semantique Team. Она принимает state, question и список кандидатов, а возвращает калиброванные вероятности по вариантам и вердикт execute/escalate. Текст не генерирует. В репозитории только обученная голова на 2 632 704 параметра (10,5 МБ), а замороженный бэкбон — Qwen/Qwen3.5-4B. Языки: английский и итальянский.

🔍 Ключевые особенности

• 📌 Число кандидатов переменное: от 2 до 100+.
• 🔄 Перестановочно-инвариантна: порядок вариантов не меняет вероятности.
• 🔖 Статические наборы кандидатов можно закэшировать и переиспользовать.
• 💡 Два энкодера делят один замороженный декодер Qwen3.5 без LM head.
• ⚙️ Обучаются только проекции, input norms и температура.

💻 Пример

from huggingface_hub import snapshot_download
from ant.inference.predictor import ANTPredictor

ckpt = snapshot_download("semantique-team/ant-4b")
ant = ANTPredictor.load(ckpt)
r = ant.predict(state="Customer charged twice", question="Which department?", candidates=["Billing", "Technical Support", "Sales", "Legal"])
print(r.choice, r.probabilities, r.action)

Подробнее

Тест: accuracy 0.739, ECE 0.056; OOD: 0.597, ECE 0.123.
Порог эскалации 0.769 покрывает 48,4% решений при риске 9,9%, точность автоматических решений — 90,1%.
bf16-бэкбон 4B занимает 8,4 ГБ; на 16 ГБ Mac тесно.
Ограничения: transaction_risk около случайного (0.125 на 8 строках), urgenza_ticket_it 0.344; один seed; статус WIP.