Jeffan-27B-1211

Исследовательская модель от tattrongvu на базе Qwen3.8-27B: 26.90B параметров, bf16, только текст. На вход получает состояние и вопрос с вариантами, а на выходе за один forward pass выдаёт вероятность каждого варианта — текст не генерирует.

🔎 Ключевые особенности

• 🧭 В transformers-примере до 26 вариантов с кодами A–Z, в движке Decision Index — до 255.
• 🔄 В full-attention слоях внимание двунаправленное, а linear-attention слои Gated DeltaNet остаются causal. Со стандартной causal-маской это уже другая модель.
• ♾ Блоки слоёв 24–35 и 36–47 по умолчанию проходят дважды за forward pass с демпфированным обновлением; это даёт на 37.5% больше вычислений слоёв.
• 📡 С движком поддерживается контекст до 65 536 токенов.
• 🚫 vLLM не поддерживается: нужен transformers-пример или Decision Index engine.

💻 Пример

pip install torch 'transformers==5.17.0' 'flash-linear-attention==0.5.2'
git clone https://github.com/apolinario/decision-index && git -C decision-index checkout f8552a1 && pip install -e ./decision-index
hf download tattrongvu/Jeffan-27B-1211 --include 'inference/*' --local-dir Jeffan-27B-1211 && pip install ./Jeffan-27B-1211/inference
python -m decision_index pipeline --engine jeffan_engine:DecisionEngine \
    --option model=tattrongvu/Jeffan-27B-1211 --option max_len=65536 --option budget=65536 \
    --out runs/Jeffan-27B-1211 --compact

Подробнее

📌 Подробнее
Публичный набор Jev Decision Index 0.3: 140 178 запросов, public index 73.52; Knowledge 63.4, Language 74.9, Retrieval 76.2, Tools 89.2, Arts 62.2. Это не официальный результат лидерборда, Full-оценки пока нет.
Задержка на NVIDIA B300: медиана 120 мс, среднее 213 мс, p95 530 мс на запрос; у базовой Qwen3.8-27B — 89/159/407 мс.
Ограничения: первый релиз, качество на неанглийских входах ниже, вероятности не валидированы для продакшена; для рискованных решений нужен человек.