К содержимому
Компьютерное зрение

AgentMujo Qwen3-VL-30B-A3B LoRA

адаптер с защитой от забывания

2 мин чтенияобновлено

AgentMujo Qwen3-VL-30B-A3B LoRA (v3) — это LoRA (небольшая надстройка над базовой моделью), обученная для вызова инструментов (tool-calling), рассуждений и извлечения данных со счетов-фактур на изображениях. Адаптер создан автором renatoschust поверх мультиязычной VLM (визуально-языковой модели) Qwen/Qwen3-VL-30B-A3B-Instruct архитектуры MoE (смесь экспертов, где из 31 млрд параметров активно только 3 млрд). Главная особенность релиза — двухэтапное обучение с реплеем данных, которое не даёт модели терять базовые навыки арифметики и честного отказа от выдуманных сущностей после мультимодального дообучения. Модель поддерживает английский, боснийский, хорватский и сербский языки и пригодится разработчикам агентов для работы с документами и внешними API.

Ключевые особенности

  • Двухэтапное обучение без деградации: сначала модель дообучили на вызовах инструментов, арифметике и проверке на выдуманные сущности, а затем провели короткий микро-проход на 50 синтетических счетах с реплеем текстовых задач.
  • Рост точности в бенчмарках: на наборе Bench v2 результат вырос с 82.3% у базовой модели до 88.1%, а точность в тесте на честность (b4_honesty) достигла 100% против 47% у оригинала.
  • Работа со счетами (Invoice VLM): адаптер уверенно распознаёт поставщика, номер и дату счёта (по 20/20 на тестовом наборе) и итоговую сумму (18/20).
  • Лёгкий адаптер: параметры LoRA r=8, alpha=16 легко подключаются к основной модели через библиотеку peft или движок vLLM.

Что можно сделать

  • Автоматизировать первичный разбор счетов-фактур и накладных на поддерживаемых языках с извлечением поставщика, номера, даты и суммы.
  • Использовать в качестве «мозга» для мультимодальных агентов, которым нужно одновременно понимать картинки, считать и вызывать внешние функции.
  • Взять за основу рецепт двухэтапного файнтюна (с реплеем арифметики и отказов), если вы дообучаете VLM под свои задачи и сталкиваетесь с забыванием базовых навыков.

Пример

В карточке приведён сценарий оценки через vLLM с тензорным параллелизмом TP=8 и temperature=0: модели подаётся изображение счёта-фактуры (в тестах использовались синтетические документы в валюте BAM со ставкой НДС 17%) или запрос на вызов инструмента. На выходе модель формирует рассуждение, корректные аргументы функции (96% точности на b5_toolargs) или извлечённые поля документа, при этом честно отказываясь отвечать на запросы о несуществующих объектах.

ПодробнееОбучение: суперкомпьютер LUMI-G (8× AMD MI250X GCDs, ROCm 7.2, bfloat16); этап v2 — 2729 шагов (lr=5e-5), этап v3 — 120 шагов (lr=2e-5).
Метрики: Bench v2 — 88.1% (617/700), b1_arith — 75.3%, b2_needle — 99.0%, b4_honesty — 100%.
Ограничения: в тесте файлового агента E-F без строгого системного промпта доля ложных срабатываний (false-success) составляет 12% (6/50) против 0% у базовой модели; в продакшене рекомендуется использовать политику strict или внешнюю проверку выполнения.
Обсудить Telegram 0 20

Запустится ли?

Запустится в 4-bit

Полная точность не влезет, но сжатая версия поместится — качество почти не страдает до 8 бит, заметнее на 4 битах.

  • BF16веса 58 GB · готовые файлы64 GB
  • FP8 / INT8рекомендуемвеса 29 GB32 GB
  • 4-bitвеса 16 GB18 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: В домашние видеокарты не поместится — выгоднее арендовать.

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Это LoRA: вместе с базовой моделью Qwen3-VL-30B-A3B-Instruct.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # renatoschust/agentmujo-qwen3-vl-30b-a3b-lora
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Qwen/Qwen3-VL-30B-A3B-Instruct --local-dir ~/models/Qwen3-VL-30B-A3B-Instruct
    hf download renatoschust/agentmujo-qwen3-vl-30b-a3b-lora --local-dir ~/models/agentmujo-qwen3-vl-30b-a3b-lora
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Qwen3-VL-30B-A3B-Instruct
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Нужна базовая модель

Qwen/Qwen3-VL-30B-A3B-Instruct

Эта модель — LoRA / адаптер. Сначала скачайте базовую модель, затем подключите к ней эту.

Новые посты про версии Qwen3-VL-30B-A3B-Instruct — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 12Все на Hugging Face
Дообучения 12Все на Hugging Face
LoRA и адаптеры 3Все на Hugging Face

О модели

renatoschust/agentmujo-qwen3-vl-30b-a3b-lora
Автор
renatoschust
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

200

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

1⃣ RAVEC-3B

1⃣ RAVEC-3B