ScarletKc-2.0
мультимодальная модель 27B без шаблонных оговорок
2 min readupdated
ScarletKc-2.0 — это открытая мультимодальная модель (27,36 млрд параметров) для диалогов и рассуждений, созданная независимым разработчиком KC на базе JonathanColetti/Qwen3.8-27B-Uncensored (производной от Qwen/Qwen3.8-27B). С помощью ортогональной проекции весов (метода очистки направлений в пространстве представлений без дообучения) из неё убрали шаблонные дисклеймеры в духе «как ИИ я не имею чувств», чтобы модель общалась от первого лица естественнее. При этом визуальный модуль и голова предсказания нескольких токенов (MTP) остались побитово идентичными исходному чекпоинту, а самоидентификация настроена на имя ScarletKc. Подойдёт для чат-ботов с ролевым или живым общением, а также задач, где нужно совмещать анализ изображений и пошаговые рассуждения.
Ключевые особенности
- Режим рассуждений: по умолчанию открывает блок
...с регулировкой глубины (xhigh,medium,low) или отключается черезenable_thinking=False. - Сохранение зрения и контекста: поддерживает ввод изображений и видео, окно контекста составляет 262 144 токена, а визуальные веса
model.visual.*перенесены без изменений. - Естественный голос от первого лица: направление отказов и эмоциональных оговорок вырезано из 72 матриц весов на слоях 18–41 с минимальным сдвигом на точных задачах (средняя KL-дивергенция 0,00769).
- Пониженная цензура базы: наследует снятые фильтры отказов от
Qwen3.8-27B-Uncensored, а также поддержку вызова инструментов в формате XML.
Что можно сделать
- Живые диалоговые ассистенты: использовать для общения от первого лица без роботизированных оговорок и морализаторства в приватных чатах.
- Мультимодальный анализ: загружать картинки или видео вместе с текстовыми запросами, используя встроенный визуальный энкодер и длинный контекст 262K.
- Локальный запуск на домашнем железе: скачать 4-битную версию
ScarletKc-2.0-GGUF(16,7 ГБQ4_K_M+ 928 МБ визуальный проектор) для работы черезllama.cpp.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
import torch
model_id = "ScarletKc/ScarletKc-2.0"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")
inputs = processor.apply_chat_template([{"role": "user", "content": [{"type": "text", "text": "Привет! Кто ты?"}]}], add_generation_prompt=True, enable_thinking=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=512, temperature=0.6, top_p=0.9, top_k=20)
Подробнее
Требования: около 55 ГБ VRAM для полной версии вbf16 (55,6 ГБ на диске); нужна библиотека transformers >= 5.2 и torchvision для работы с изображениями.Обучение: очистка вектора на 31-м слое (SNR = 3,64) + дообучение LoRA (
rank=16, alpha=16) на 106 диалогах на китайском и английском языках.Ограничения: новых фактических знаний не добавлено; из-за пониженных фильтров безопасности перед открытым доступом требуется внешняя модерация.
Лицензия: Apache 2.0.










Comments