К содержимому
Компьютерное зрение

EcoWitness-Qwen3.5-9B-RL-LoRA

модель с проверкой ссылок на доказательства

2 мин чтенияобновлено

Автор ForeverBlue выпустил LoRA-адаптер (небольшую надстройку) для мультимодальной модели Qwen/Qwen3.5-9B, обученный с помощью RL (обучения с подкреплением) и автоматического верификатора. Модель решает задачи по экологии рек на основе спутниковых снимков Sentinel-2, описаний участков и списков видов из анализа ДНК среды (eDNA), где каждый фрагмент данных имеет свой идентификатор. В отличие от обычных VLM, она не просто выбирает вариант ответа, но и строго указывает идентификаторы использованных и критически важных (load-bearing) фактов, а также умеет пересчитывать выводы при изменении исходных данных. Адаптер пригодится исследователям, изучающим проверяемость рассуждений (grounding) и устойчивость моделей к правкам контекста.

Ключевые особенности

  • Строгая привязка к фактам: ответ формируется в три строки — answer, support и load_bearing с точным перечислением ID источников.
  • Обучение с верификатором: во время RL каждый ответ проверялся движком правил, который точно оценивал как правильность вывода, так и набор указанных доказательств.
  • Устойчивость к изменениям: в обучение включены сценарии со скрытым редактированием фактов и явным обновлением данных, где модель должна отследить изменения.
  • Адаптация только языковой части: веса LoRA (r=32, 86.6 млн параметров) затрагивают только проекции языковой модели, оставляя визуальный энкодер замороженным.

Что можно сделать

  • Протестировать на бенчмарке EcoWitness: запустить оценку модели на задачах по речной экологии и проверить её реакцию на подмену или обновление исходных свидетельств.
  • Изучить пайплайн verifier-guided RL: использовать открытый код из репозитория EcoWitness как референс для обучения собственных моделей с проверкой ссылок на источники.

Пример

import torch
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoProcessor

base = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.5-9B", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA").merge_and_unload()
processor = AutoProcessor.from_pretrained("ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA")
ПодробнееВалидация (240 записей): точность ответов выросла с 60.8% до 93.8%, F1-мера для load_bearing — с 0.536 до 0.974, для support — с 0.541 до 0.994.
Обучение: 2500 шагов на 80 000 эпизодах (2× NVIDIA H100 80 GB, 17.5 часов, пик памяти 40 GB на GPU).
Требования: transformers >= 5.3, peft >= 0.18, формат промптов witness-protocol с отключённым режимом рассуждений (enable_thinking=False).
Ограничения: только английский язык; модель заточена исключительно под формат бенчмарка и не является универсальным ассистентом по экологии.
Обсудить Telegram 0 40

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA --local-dir ~/models/EcoWitness-Qwen3.5-9B-RL-LoRA
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к EcoWitness-Qwen3.5-9B-RL-LoRA
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии EcoWitness-Qwen3.5-9B-RL-LoRA — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA
Автор
ForeverBlue
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

400

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Другое

Calpha

Calpha