SZL-GovernedDistill-0.8B-v1
дистилляция, которая честно провалила гейт
2 min readupdated
Исследовательская модель от SZL Holdings на базе Qwen/Qwen3.5-0.8B с 0.87B параметров. Это student-модель, обученная только на выходах учителя SZL-Nemotron-Mini-4B-Estate-v1, которые прошли fail-closed grounding-гейт. Карточка помечает артефакт как RESEARCH_CANDIDATE и NOT_PROMOTED: оценка провалила собственный гейт, и FAIL опубликован как есть.
Ключевые особенности
- Обучение только на gate-ACCEPT выходах учителя: принято 46 из 210 примеров, то есть 21.9%.
- На 6-пробном confabulation battery модель в свободном декодировании воздержалась в 1/6 случаев — это FAIL по гейту.
- Главный вывод: grounding-by-construction в обучении не переносится в свободную генерацию; порог конфабуляций задаётся декодированием, а не SFT.
- Сравнение в карточке: estate students 0–2/6, Qwen3-8B 1/6, Qwen3-14B 1/6, Claude Sonnet 4.5 5/6.
- Артефакт с per-example receipts: каждый пример обучения прошёл проверку, но это не делает модель production-ready.
Пример
Сценарий из карточки: проверить, переносится ли copy-constrained grounding из дистилляции в свободную генерацию. На 6 probes student воздержался только 1 раз из 6; учитель с copy-constrained decoding дал 21.9% source capture (46/210). Это не пример «как запустить», а измерение, ради которого модель опубликована.
Подробнее
Бенчмарк: 1/6 abstained на 6-probe confabulation battery; у учителя с copy-constrained decoding — 21.9% source capture (46/210).Обучение: student base — Qwen/Qwen3.5-0.8B, teacher — SZL-Nemotron-Mini-4B-Estate-v1; корпус — только 46/210 gate-ACCEPT выходов.
Ограничения: RESEARCH_CANDIDATE, NOT_PROMOTED, не production-ready и не quality-certified; карточка прямо не заявляет, что дистилляция «работает».










Comments