B6-27B

B6-27B от Schneewolf Labs — это B5-27B на 27,78 млрд параметров с «впечённым» check-first-адаптером. Модель для image-text-to-text на базе transformers; главное изменение — при выключенном thinking она чаще вызывает поиск перед ответом на вопросы вида «is X still …?», а не отвечает по памяти.

🔥 Ключевые особенности

• 🦾 ORPO LoRA на B5-27B: 259 пар из конфигов Nachschlagen round2 и round1.
• ✅ Адаптер вшит в веса: все не-LoRA-тензоры совпадают с B5, целевые отличаются на alpha/r · B·A.
• 💥 На held-out B6 делает правильный первый ход 41/41 против 35/41 у B5; из «нужен поиск» — 10/10 против 6/10.
• 👁 На harder-наборе — 37/37 против 34/37; «нужен поиск» — 10/10 против 7/10.
• 🤝 Токенизатор, chat template, vision и MTP-веса взяты у B5 без изменений. Сделана для egirl; другие harness’ы не тестировались.

😎 Пример

В карточке приводят пример устаревшего ответа B5: «Pat Gelsinger has been Intel's CEO since February 2021 and is still in the role as of today». B6 при выключенном thinking на вопросы «is X still …?» сначала вызывает поиск; если инструмент не нужен — отвечает сразу.

Подробнее

Бенчмарки: ARC-Challenge 66,2 vs 65,9; ARC-Easy 87,2 vs 87,2; TruthfulQA 40,8 vs 40,9 — общие метрики остались на уровне.
Обучение: r16, alpha 32, lr 2e-5, beta 0.1, 2 эпохи, effective batch 8.
Ограничение: поиск при выключенном thinking добавляет несколько секунд; модель сделана под egirl, другие harness’ы не тестировались.
Запускали B5 и B6 как Q8_0 GGUF (B6 — B5 + f16-адаптер) в одной сессии.