К содержимому
Компьютерное зрение

Inkling-2-Mini Uncensored LoRA

снятие ограничений с компактной мультимодальной модели

1 мин чтенияобновлено

Данная модель представляет собой модифицированную (decensored) версию мультимодальной базовой модели thinkingmachines/Inkling-2-Mini, полученную с помощью метода Arbitrary-Rank Ablation (ARA). Модель принимает на вход текст и изображения, а генерирует текстовый ответ, сохраняя архитектурные особенности оригинала, но со значительно сниженным уровнем отказов на запросы. Новинка подойдет разработчикам и исследователям, которым требуется гибкое поведение модели без жестких встроенных фильтров.

Ключевые особенности

  • Минимум отказов: показатель отказов (Refusals) снижен с 100/100 у оригинала до 3/100.
  • Метод ARA: точечная модификация слоев (с 1 по 16) с сохранением полезного поведения.
  • Базовая архитектура: сохраняет мультимодальные возможности и поддержку длинного контекста оригинала.
  • Минимальное расхождение: метрика KL divergence удерживается на низком уровне 0.0883.

Что можно сделать

  • Интеграция в пайплайны: использовать в качестве адаптера для локальных приложений с повышенной толерантностью к сложным промптам.
  • Исследование безопасности: изучать методы снятия ограничений и влияние ARA-параметров на поведение трансформеров.
  • Тестирование агентов: запускать автономных агентов для задач программирования и анализа изображений без ложных срабатываний фильтров.

Пример

Пример использования и параметры конфигурации ARA для воспроизведения модели доступны в репозитории в директории reproduce.

ПодробнееМетрики: Refusals 3/100 против 100/100 у оригинала.
KL divergence: 0.0883.
Параметры ARA: start_layer_index = 1, end_layer_index = 16, loss_mode = relative.
Требования к железу соответствуют базовой модели Inkling 2 Mini (32GB+ VRAM или поддерживаемые локальные устройства).
Обсудить Telegram 1

Запустится ли?

Запустится в 4-bit

Полная точность не влезет, но сжатая версия поместится — качество почти не страдает до 8 бит, заметнее на 4 битах.

  • U8веса 26 GB · готовые файлы30 GB
  • FP8 / INT8рекомендуемвеса 25 GB28 GB
  • 4-bitвеса 14 GB16 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 5090 · U8 — от RTX 5090

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Это LoRA: вместе с базовой моделью Inkling-2-Mini.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # electroglyph/Inkling-2-Mini-uncensored-LoRA
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download thinkingmachines/Inkling-2-Mini --local-dir ~/models/Inkling-2-Mini
    hf download electroglyph/Inkling-2-Mini-uncensored-LoRA --local-dir ~/models/Inkling-2-Mini-uncensored-LoRA
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Inkling-2-Mini
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Нужна базовая модель

thinkingmachines/Inkling-2-Mini

Эта модель — LoRA / адаптер. Сначала скачайте базовую модель, затем подключите к ней эту.

Новые посты про версии Inkling-2-Mini — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 2Все на Hugging Face

О модели

electroglyph/Inkling-2-Mini-uncensored-LoRA
Автор
electroglyph
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

01

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

Inkling 2 Mini

Inkling 2 Mini
Компьютерное зрение

Inkling 2 Small

Inkling 2 Small