Amber 0.4B v2

Amber 0.4B v2 — типизированный decision engine от MLukauskas. На вход получает state и вопросы с вариантами (choice или да/нет noul), а на выходе даёт вероятность каждого варианта. Основа — cross-encoder/ettin-reranker-400m-v1 с дообученными весами и небольшим option head.

🧐 Ключевые особенности

• 🤖 397,9M параметров, архитектура cross-encoder: один проход по инструкциям, состоянию и всем вариантам сразу.
• 💯 Для каждого варианта считается softmax-вероятность; для noul ответ — P(true).
• 🔥 До 32 768 токенов на вопрос; длинные вопросы обрабатываются отдельно с sliding-window attention.
• 👀 Средняя задержка 41,0 мс, медиана 19,2 мс на одной RTX 3080 Ti в bf16.
• 🚀 Есть варианты 17M, 32M, 68M, 150M и 0.4B.

👀 Пример

pip install -r requirements.txt
PYTHONPATH=. python -m decision_index run --engine amber_uni_engine:UniEngine \
    --suite-dir <suite-0.3> --out runs/amber-0.4b-v2 --compact

Подробнее

Public index — 47,42 (raw 60,00) в Decision Index 0.3: 140 178 запросов без пропусков и обрезаний.
Слабое место — Knowledge & Reasoning: маленький encoder без генерации близок к случайному уровню на задачах с мировыми знаниями и многошаговой арифметикой.
В основном английский; вероятности откалиброваны на тренировочном миксе, пороги лучше перепроверять на своих данных.
Веса — CC BY-NC 4.0 из-за некоммерческих источников в данных, базовая модель — Apache-2.0.