Diogenes-9B-v1
версия Qwen3.5-9B без цензурных шаблонов
2 min readupdated
Исследовательский файнтюн от TendieLabs на базе языковой модели Qwen3.5-9B (9.41 млрд параметров). Модель обучили методом SFT (дообучение с учителем на готовых ответах) с помощью LoRA на отфильтрованной части датасета Arete от Nous Research, чтобы она отвечала прямее и реже воспроизводила официальную риторику китайских властей по политическим вопросам. В отличие от оригинальной базы, Diogenes-9B почти не уходит в отказы на чувствительные темы, сохраняя при этом штатный модуль MTP (предсказание нескольких токенов за шаг) и замороженный визуальный блок. Подойдёт исследователям, энтузиастам локальных LLM и разработчикам, которым нужна компактная модель с меньшим количеством политических фильтров.
Ключевые особенности
- Снижение цензурных отказов: на тесте из 803 политических вопросов доля ответов с официальными нарративами КНР упала с 36.36% (292/803) до 3.61% (29/803), а число прямых отказов сократилось с 40 до 1.
- Больше фактов в ответах: средний балл полноты обязательных фактов на том же наборе вырос с 2.61 до 3.32 из 5.
- Сохранена нативная MTP-голова: при слиянии весов в формат BF16 разработчики перенесли все 15 тензоров
mtp.*и замороженный энкодер изображений. - Компромисс по кодингу: на подвыборке HumanEval без режима рассуждений (non-thinking) точность просела с 93.75% до 78.12%, хотя математика на GSM8K осталась на уровне базы (93.75%).
Что можно сделать
- Изучать поведение и выравнивание LLM: сравнивать ответы оригинальной Qwen3.5-9B и дообученной версии на чувствительных или историко-политических запросах.
- Развернуть локального ассистента для справочных задач: использовать как компактную 9B-модель в чат-ботах, где критично отсутствие ложных отказов при сохранении базовой логики и математики.
- Тестировать спекулятивное декодирование: проверить работу сохранённой однослойной MTP-головы в поддерживаемых движках инференса.
Пример
На тесте из 803 политических запросов Censorship & Propaganda Eval модель в режиме без рассуждений (greedy decoding, лимит 1024 токена) сократила количество отказов с 40 до 1 по сравнению с Qwen3.5-9B и подняла оценку покрытия фактов до 3.32 из 5. Для снижения риска зацикливания на редких вопросах авторы рекомендуют использовать сэмплирование (sampled decoding), штраф за повторы (presence penalty) или системный промпт из обучающего набора.
Подробнее
Бенчмарки (замерены на несмердженном LoRA-адаптере): политический тест (803 вопроса) — 3.32/5 против 2.61/5 у базы; GSM8K (64 задачи, non-thinking) — 93.75%; HumanEval (32 задачи, non-thinking) — 78.12% против 93.75%.Обучение: 1 эпоха (692 шага) на 5 535 примерах с rank-16 LoRA на двух NVIDIA RTX 3090 (по 24 ГБ VRAM) за 72 минуты.
Ограничения: слитый BF16-чекпоинт не прошёл строгую проверку побитовой эквивалентности логитов на CPU, а качество самого мерджа и скорость MTP-головы отдельно не тестировались; возможны галлюцинации и зацикливания при greedy-генерации.










Comments