openT2L-MiniCPM-V-4.7-1B-docs
генератор LoRA-адаптеров для документов без обучения
2 мин чтенияобновлено
Эта гиперсеть (нейросеть, которая сама генерирует веса для другой модели) от автора ASHu2 решает проблему долгого дообучения под новые шаблоны документов. Вы даёте ей всего 4 примера страниц незнакомого типа с нужным JSON на выходе, и за один прямой проход (forward pass) она создаёт готовый LoRA-адаптер (небольшую надстройку) ранга 8 для мультимодальной модели MiniCPM-V-4.7-1B. В отличие от классического файнтюна, здесь не запускается цикл обучения, а полученный адаптер сохраняется в стандартном формате PEFT — его можно сразу влить в базу или конвертировать под llama.cpp. Инструмент пригодится разработчикам систем распознавания и извлечения данных из счетов, таблиц и бланков, которым нужно быстро адаптировать VLM-модель под новые форматы на английском и китайском языках.
Ключевые особенности
- Мгновенная адаптация: генерация весов LoRA происходит за один проход на основе 4 размеченных страниц без градиентного дообучения.
- Стандартный формат PEFT: на выходе получается обычная директория с адаптером (rank 8, alpha 16), совместимая с пайплайнами Hugging Face и
llama.cpp. - Архитектура Text-to-LoRA: гиперсеть размером 72.2M параметров (MLP 3×512) модифицирует 48 модулей языковой части, не затрагивая визуальный энкодер.
- Заметный прирост точности: на 78 тестовых задачах, которые сеть не видела при обучении, средний показатель F1 вырос с 0.728 до 0.881.
Что можно сделать
- Парсинг новых форм и чеков: быстро собирать специализированные адаптеры для извлечения полей из счетов, квитанций, расчётных листков и транспортных накладных по 4 образцам.
- Извлечение сложных таблиц: адаптировать MiniCPM-V-4.7-1B для конвертации финансовых таблиц (например, уровня FinTabNet) в структурированный JSON.
- Локальный деплой: сгенерировать адаптер на сервере, объединить его с базовой 1B-моделью или перевести в формат для
llama.cppдля работы на устройствах.
Пример
from huggingface_hub import snapshot_download
from peft import PeftModel
from t2l import load_hypernet, emit_adapter
gen, cfg = load_hypernet(snapshot_download("ASHu2/openT2L-MiniCPM-V-4.7-1B-docs"), device="cuda")
# support — тензор эмбеддингов из 4 размеченных примеров страниц
emit_adapter(gen, support, "my_adapter/", base_model="openbmb/MiniCPM-V-4.7-1B")
model = PeftModel.from_pretrained(model, "my_adapter/")Подробнее
Бенчмарки (Gate 1, 78 новых задач, метрика field-level F1): общий результат вырос с 0.728 до 0.881 (+0.154), на синтетических формах — с 0.813 до 0.957, на публичных задачах (FinTabNet, ChartQA) — с 0.339 до 0.533.Обучение: 333 задачи, 6000 шагов на одной видеокарте A10G (~5 часов), базовые языки — английский и китайский.
Ограничения: слабый прирост на графиках (+0.01 до +0.27); при работе нужно строго соблюдать формат промпта и настройки процессора (
downsample_mode="16x", max_slice_nums=9).Лицензия: CC-BY-NC-4.0 (только для некоммерческого использования из-за лицензий обучающих датасетов).










Комментарии