AgentMujo Qwen3-VL-30B-A3B LoRA
адаптер с защитой от забывания
2 мин чтенияобновлено
AgentMujo Qwen3-VL-30B-A3B LoRA (v3) — это LoRA (небольшая надстройка над базовой моделью), обученная для вызова инструментов (tool-calling), рассуждений и извлечения данных со счетов-фактур на изображениях. Адаптер создан автором renatoschust поверх мультиязычной VLM (визуально-языковой модели) Qwen/Qwen3-VL-30B-A3B-Instruct архитектуры MoE (смесь экспертов, где из 31 млрд параметров активно только 3 млрд). Главная особенность релиза — двухэтапное обучение с реплеем данных, которое не даёт модели терять базовые навыки арифметики и честного отказа от выдуманных сущностей после мультимодального дообучения. Модель поддерживает английский, боснийский, хорватский и сербский языки и пригодится разработчикам агентов для работы с документами и внешними API.
Ключевые особенности
- Двухэтапное обучение без деградации: сначала модель дообучили на вызовах инструментов, арифметике и проверке на выдуманные сущности, а затем провели короткий микро-проход на 50 синтетических счетах с реплеем текстовых задач.
- Рост точности в бенчмарках: на наборе Bench v2 результат вырос с 82.3% у базовой модели до 88.1%, а точность в тесте на честность (
b4_honesty) достигла 100% против 47% у оригинала. - Работа со счетами (Invoice VLM): адаптер уверенно распознаёт поставщика, номер и дату счёта (по 20/20 на тестовом наборе) и итоговую сумму (18/20).
- Лёгкий адаптер: параметры LoRA
r=8, alpha=16легко подключаются к основной модели через библиотекуpeftили движокvLLM.
Что можно сделать
- Автоматизировать первичный разбор счетов-фактур и накладных на поддерживаемых языках с извлечением поставщика, номера, даты и суммы.
- Использовать в качестве «мозга» для мультимодальных агентов, которым нужно одновременно понимать картинки, считать и вызывать внешние функции.
- Взять за основу рецепт двухэтапного файнтюна (с реплеем арифметики и отказов), если вы дообучаете VLM под свои задачи и сталкиваетесь с забыванием базовых навыков.
Пример
В карточке приведён сценарий оценки через vLLM с тензорным параллелизмом TP=8 и temperature=0: модели подаётся изображение счёта-фактуры (в тестах использовались синтетические документы в валюте BAM со ставкой НДС 17%) или запрос на вызов инструмента. На выходе модель формирует рассуждение, корректные аргументы функции (96% точности на b5_toolargs) или извлечённые поля документа, при этом честно отказываясь отвечать на запросы о несуществующих объектах.
Подробнее
Обучение: суперкомпьютер LUMI-G (8× AMD MI250X GCDs, ROCm 7.2,bfloat16); этап v2 — 2729 шагов (lr=5e-5), этап v3 — 120 шагов (lr=2e-5).Метрики: Bench v2 — 88.1% (617/700),
b1_arith — 75.3%, b2_needle — 99.0%, b4_honesty — 100%.Ограничения: в тесте файлового агента E-F без строгого системного промпта доля ложных срабатываний (false-success) составляет 12% (6/50) против 0% у базовой модели; в продакшене рекомендуется использовать политику
strict или внешнюю проверку выполнения.









Комментарии