Aurum 4B
версия Qwen3.5-4B без отказов и цензуры
2 мин чтения
Aurum 4B представляет собой официальную мультимодальную модель Qwen/Qwen3.5-4B (размером 4.66 млрд параметров), у которой полностью удалено поведение отказов (refusal behavior) при сохранении всех остальных весов, включая оригинальную визуальную башню и MTP-голову (multi-token-prediction). Модель создана для повседневного общения и вызова инструментов (tool calling) на видеокартах с 8 GB VRAM. По сравнению с базовой версией она не отказывает на сложные или чувствительные запросы, показывая при этом высокую точность в бенчмарках следования инструкциям и работы с функциями.
Ключевые особенности
- Полная свобода: 0 отказов из 100 тестовых вредных промптов при сохранении 0% ложных срабатываний на безопасных запросах.
- Оптимизация под железо: разработана для запуска на видеокартах с 8 GB VRAM (поддерживаются квантования GGUF для llama.cpp).
- Сохранение мультимодальности: полностью сохранены оригинальный vision-проектор и токенизатор базовой Qwen3.5.
- Улучшенные метрики: превосходит предшественников в тестах IFEval и BFCL (Function Calling Leaderboard).
Что можно сделать
- Интеграция в локальные чат-боты: развернуть модель в локальном приложении или боте для свободной генерации текста и кода без лишней цензуры.
- Тестирование вызова инструментов: использовать модель для проектов, требующих надежного tool calling (вызова функций) на слабом железе.
- Мультимодальные задачи: обрабатывать изображения и текст на базе архитектуры Qwen3.5 с расширенными возможностями reasoning.
- Запуск через llama.cpp: использовать готовые GGUF-квантования для быстрой работы на потребительских ПК.
Пример
from transformers import AutoModelForImageTextToText, AutoProcessor
model = AutoModelForImageTextToText.from_pretrained("2Beyes/Aurum_4b-safetensors", dtype="auto", device_map="auto")
processor = AutoProcessor.from_pretrained("Qwen/Qwen3.5-4B")
Подробнее
Бенчмарки: IFEval strict (78.6), BFCL non-live average (85.9), GPQA Diamond (49.5).Требования: видеокарта от 8 GB VRAM.
Ограничения: модель иногда может вызывать инструмент там, где он не нужен (BFCL irrelevance 80.8), и тестировалась только на английском языке.
Лицензия: Apache License 2.0.










Комментарии