Instella-MoE-16B-A3B-Think-SOMPOA-heresy
снятие цензуры со свежей MoE-модели от AMD
2 мин чтенияобновлено
Перед вами децензурированная версия рассуждающей языковой модели Instella-MoE-16B-A3B-Think, подготовленная автором MuXodious с помощью инструмента Heretic. В основе лежит архитектура MoE (Mixture-of-Experts — смесь экспертов, где на каждый токен активируется лишь часть весов): из 15.86B общих параметров задействуются 2.8B. В отличие от оригинальной модели от AMD, которая отклоняла все тестовые провокационные запросы, эта версия отвечает практически на всё без потери базовой логики. Подойдёт энтузиастам локального запуска, которым нужна быстрая thinking-модель без жёстких встроенных фильтров.
Ключевые особенности
- Почти полное отсутствие отказов: показатель Refusals снижен со 101/101 у оригинала до 1/101 в финальном чекпоинте (Trial 756).
- Сохранение качества рассуждений: на бенчмарке PIQA модель не просела и показала 0.7312 (
acc,none) и 0.7432 (acc_norm,none) против 0.7231 и 0.7459 у базы на сервере H100. - Минимальное отклонение весов: значение KL divergence (мера расхождения с исходной моделью) составило всего 0.1280, что позволяет сохранить стиль и способности оригинала.
- Архитектура Instella-MoE: 64 эксперта (6 активных и 2 общих на токен), 27 слоёв декодера и механизм внимания Gated Multi-head Latent Attention (Gated MLA).
Что можно сделать
- Подключить через библиотеку
transformersв локального ассистента для задач, где требуются пошаговые рассуждения (chain-of-thought) без срабатывания цензурных заглушек. - Использовать для генерации текстов и ролевых сценариев на английском языке, где стандартный чекпоинт AMD отказывается отвечать.
- Сравнить поведение с оригинальной
amd/Instella-MoE-16B-A3B-Thinkпри исследовании методов абляции отказов (SOMPOA / Heretic).
Пример
Для корректной работы модели и корректного запуска режима рассуждений автор использовал следующий префикс ответа при обработке через Heretic:
--response-prefix "<|Assistant|>\n\n\n"
Подробнее
Использован инструмент Heretic v2.2.0.dev0 с параметрами SOMPOA (опубликован вариант Trial 756).Тестирование на H100: Refusals 1/101, KL divergence 0.1280, PIQA acc_norm 0.7432.
Слияние и экспорт выполнены на арендованном сервере с GPU H100; автор отмечает влияние конфигурации нескольких GPU на итоговые метрики.










Комментарии