Observer-Qwen3.6-27B
RL-наблюдатель для контроля диалогов нейросетей
2 min readupdated
Команда Transluce выпустила LoRA-адаптер (небольшую надстройку над базовой моделью), обученный с помощью RL (обучения с подкреплением) для надзора за диалогами ИИ. На практике модель работает в отдельной роли observer: она анализирует текущую переписку и отвечает на проверочные вопросы о происходящем в диалоге. В основе лежит крупная мультимодальная модель Qwen/Qwen3.6-27B (27 млрд параметров), а сам адаптер сконвертирован в стандартный формат Hugging Face PEFT. В отличие от обычных чат-ассистентов, адаптер заточен именно под протокол внешнего аудита и оценки ответов, поэтому пригодится исследователям безопасности ИИ и разработчикам систем автоматического контроля.
Ключевые особенности
- Обучен за 142 шага RL специально для работы в роли наблюдателя (
observer), а не обычного ассистента. - Совместим с библиотекой PEFT: содержит только веса адаптера (802 тензора, размер около 1.09 ГБ) без дублирования базовой модели.
- Использует ранг LoRA 32 (и объединённый ранг 96 для модулей linear-attention QKV) с сохранением точной математической эквивалентности исходным весам Tinker.
- Поддерживает как режим рассуждений (thinking mode), так и оценку вероятностей продолжения ответа через prefill.
Что можно сделать
- Встроить в пайплайн модерации или мониторинга, чтобы модель в роли
observerпроверяла чужие диалоги по заданным контрольным вопросам. - Использовать для автоматической оценки качества и безопасности ответов других LLM через подсчёт log-probability вариантов продолжения.
- Применять в исследованиях AI-oversight и интерпретируемости поведения языковых моделей на базе Qwen3.6-27B.
Пример
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base_id = "Qwen/Qwen3.6-27B"
rev = "8f33b98937c6031bb49e713dee3e8e185aafd26f"
tokenizer = AutoTokenizer.from_pretrained(base_id, revision=rev)
base = AutoModelForImageTextToText.from_pretrained(base_id, revision=rev, dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "Transluce/Observer-Qwen3.6-27B")
Подробнее
Базовая модель: Qwen/Qwen3.6-27B (архитектура Qwen3_5ForConditionalGeneration, требуется свежая версия Transformers и PEFT с поддержкой rank_pattern/alpha_pattern).Требования к железу: базовая модель на 27B требует значительного объёма видеопамяти (VRAM).
Ограничения: обычный формат чата (assistant-only) не подходит — нужно сохранять историю диалога, передавать вопрос как query и запускать генерацию от роли observer.
Детали релиза: формы всех 802 тензоров проверены программно на meta-устройстве, но полноценная генерация на GPU после конвертации не тестировалась.










Comments