SZL-GovernedDistill-0.8B-v1
дистилляция, которая честно провалила гейт
Исследовательская модель от SZL Holdings на базе Qwen/Qwen3.5-0.8B с 0.87B параметров. Это student-модель, обученная только на выходах учителя SZL-Nemotron-Mini-4B-Estate-v1, которые прошли fail-closed grounding-гейт. Карточка помечает артефакт как RESEARCH_CANDIDATE и NOT_PROMOTED: оценка провалила собственный гейт, и FAIL опубликован как есть.
👀 Ключевые особенности
- 💪 Обучение только на gate-ACCEPT выходах учителя: принято 46 из 210 примеров, то есть 21.9%.
- 😐 На 6-пробном confabulation battery модель в свободном декодировании воздержалась в 1/6 случаев — это FAIL по гейту.
- 👀 Главный вывод: grounding-by-construction в обучении не переносится в свободную генерацию; порог конфабуляций задаётся декодированием, а не SFT.
- 🐾 Сравнение в карточке: estate students 0–2/6, Qwen3-8B 1/6, Qwen3-14B 1/6, Claude Sonnet 4.5 5/6.
- 👉 Артефакт с per-example receipts: каждый пример обучения прошёл проверку, но это не делает модель production-ready.
👉 Пример
Сценарий из карточки: проверить, переносится ли copy-constrained grounding из дистилляции в свободную генерацию. На 6 probes student воздержался только 1 раз из 6; учитель с copy-constrained decoding дал 21.9% source capture (46/210). Это не пример «как запустить», а измерение, ради которого модель опубликована.
Подробнее
Бенчмарк: 1/6 abstained на 6-probe confabulation battery; у учителя с copy-constrained decoding — 21.9% source capture (46/210).Обучение: student base — Qwen/Qwen3.5-0.8B, teacher — SZL-Nemotron-Mini-4B-Estate-v1; корпус — только 46/210 gate-ACCEPT выходов.
Ограничения: RESEARCH_CANDIDATE, NOT_PROMOTED, не production-ready и не quality-certified; карточка прямо не заявляет, что дистилляция «работает».








Комментарии