EcoWitness-Qwen3.5-9B-RL-LoRA
модель с проверкой ссылок на доказательства
2 мин чтенияобновлено
Автор ForeverBlue выпустил LoRA-адаптер (небольшую надстройку) для мультимодальной модели Qwen/Qwen3.5-9B, обученный с помощью RL (обучения с подкреплением) и автоматического верификатора. Модель решает задачи по экологии рек на основе спутниковых снимков Sentinel-2, описаний участков и списков видов из анализа ДНК среды (eDNA), где каждый фрагмент данных имеет свой идентификатор. В отличие от обычных VLM, она не просто выбирает вариант ответа, но и строго указывает идентификаторы использованных и критически важных (load-bearing) фактов, а также умеет пересчитывать выводы при изменении исходных данных. Адаптер пригодится исследователям, изучающим проверяемость рассуждений (grounding) и устойчивость моделей к правкам контекста.
Ключевые особенности
- Строгая привязка к фактам: ответ формируется в три строки —
answer,supportиload_bearingс точным перечислением ID источников. - Обучение с верификатором: во время RL каждый ответ проверялся движком правил, который точно оценивал как правильность вывода, так и набор указанных доказательств.
- Устойчивость к изменениям: в обучение включены сценарии со скрытым редактированием фактов и явным обновлением данных, где модель должна отследить изменения.
- Адаптация только языковой части: веса LoRA (r=32, 86.6 млн параметров) затрагивают только проекции языковой модели, оставляя визуальный энкодер замороженным.
Что можно сделать
- Протестировать на бенчмарке EcoWitness: запустить оценку модели на задачах по речной экологии и проверить её реакцию на подмену или обновление исходных свидетельств.
- Изучить пайплайн verifier-guided RL: использовать открытый код из репозитория EcoWitness как референс для обучения собственных моделей с проверкой ссылок на источники.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoProcessor
base = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.5-9B", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(base, "ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA").merge_and_unload()
processor = AutoProcessor.from_pretrained("ForeverBlue/EcoWitness-Qwen3.5-9B-RL-LoRA")Подробнее
Валидация (240 записей): точность ответов выросла с 60.8% до 93.8%, F1-мера для load_bearing — с 0.536 до 0.974, для support — с 0.541 до 0.994.Обучение: 2500 шагов на 80 000 эпизодах (2× NVIDIA H100 80 GB, 17.5 часов, пик памяти 40 GB на GPU).
Требования:
transformers >= 5.3, peft >= 0.18, формат промптов witness-protocol с отключённым режимом рассуждений (enable_thinking=False).Ограничения: только английский язык; модель заточена исключительно под формат бенчмарка и не является универсальным ассистентом по экологии.










Комментарии