Inkling-2-Mini Uncensored LoRA
снятие ограничений с компактной мультимодальной модели
1 мин чтенияобновлено
Данная модель представляет собой модифицированную (decensored) версию мультимодальной базовой модели thinkingmachines/Inkling-2-Mini, полученную с помощью метода Arbitrary-Rank Ablation (ARA). Модель принимает на вход текст и изображения, а генерирует текстовый ответ, сохраняя архитектурные особенности оригинала, но со значительно сниженным уровнем отказов на запросы. Новинка подойдет разработчикам и исследователям, которым требуется гибкое поведение модели без жестких встроенных фильтров.
Ключевые особенности
- Минимум отказов: показатель отказов (Refusals) снижен с 100/100 у оригинала до 3/100.
- Метод ARA: точечная модификация слоев (с 1 по 16) с сохранением полезного поведения.
- Базовая архитектура: сохраняет мультимодальные возможности и поддержку длинного контекста оригинала.
- Минимальное расхождение: метрика KL divergence удерживается на низком уровне 0.0883.
Что можно сделать
- Интеграция в пайплайны: использовать в качестве адаптера для локальных приложений с повышенной толерантностью к сложным промптам.
- Исследование безопасности: изучать методы снятия ограничений и влияние ARA-параметров на поведение трансформеров.
- Тестирование агентов: запускать автономных агентов для задач программирования и анализа изображений без ложных срабатываний фильтров.
Пример
Пример использования и параметры конфигурации ARA для воспроизведения модели доступны в репозитории в директории reproduce.
Подробнее
Метрики: Refusals 3/100 против 100/100 у оригинала.KL divergence: 0.0883.
Параметры ARA: start_layer_index = 1, end_layer_index = 16, loss_mode = relative.
Требования к железу соответствуют базовой модели Inkling 2 Mini (32GB+ VRAM или поддерживаемые локальные устройства).










Комментарии