CAIAAD
LoRA для извлечения фактов из научных статей
1 мин чтенияобновлено
CAIAAD — LoRA-адаптер для Qwen/Qwen3-VL-8B-Instruct, который превращает фрагменты научных статей в структурированные факты: дословную цитату, полное числовое значение, исходную единицу и поле из фиксированной таксономии на 26 полей. Обучен на корпусе проекта по CDI и водоочистке: ёмкостная деионизация, электросорбция, антибактериальные поверхности, ROS/H2O2.
Ключевые особенности
- LoRA r=16, alpha=32, dropout=0.05; обучаемых параметров 43 646 976 (0.50% базовой модели).
- SFT с causal-LM loss только на токенах ассистента, bf16 без квантизации; обучение на одной RTX 5090 24 GB, пик 22.0 GB.
- Данные: 7 556 фактов из 1 974 пассажей и 955 публикаций; сплиты по DOI публикации.
- Цели — прошедшие валидатор извлечения Qwen3-VL-30B, не ручная аннотация.
- На 12 невиданных пассажах: 44 факта, 37 прошли валидатор, precision 84%; базовая Qwen3-VL-8B — 0%.
Пример
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
base = AutoModelForImageTextToText.from_pretrained(
"Qwen/Qwen3-VL-8B-Instruct", dtype="bfloat16", device_map={"": 0})
model = PeftModel.from_pretrained(base, "liuiop/CAIAAD")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-VL-8B-Instruct")
Подробнее
Бенчмарк: 84% precision на 12 невиданных пассажах (37 из 44 фактов), у базовой модели — 0%.Железо: одна RTX 5090 на 24 GB, пик 22.0 GB; bf16 без квантизации.
Ограничения: цели машинно-сгенерированы и проверены валидатором, не людьми; домен — CDI/водоочистка, другие области не тестировались.
Адаптер может дословно цитировать статьи — при переиспользовании указывайте оригинальные публикации.










Комментарии