TableMoE (Qwen2.5-VL-7B)
VLM с маршрутизацией экспертов для анализа таблиц
2 мин чтенияобновлено
Визуально-языковая модель (VLM) от анонимных исследователей для ответов на вопросы по изображениям таблиц. В основе лежит Qwen/Qwen2.5-VL-7B-Instruct, дополненная LoRA-адаптерами (небольшими надстройками над весами) и модулем MoE (Mixture-of-Experts — архитектурой с несколькими специализированными «экспертами» и маршрутизатором). Вместо единого блока связи между картинкой и текстом здесь работают четыре эксперта под разные форматы данных: общий, HTML, JSON и код. Подойдёт разработчикам и исследователям для извлечения фактов, расчётов и парсинга таблиц со скриншотов и сканов.
Ключевые особенности
- В коннектор встроены роутер и 4 эксперта с фиксированным порядком:
0=general,1=html,2=json,3=code. - Совместное обучение (метод SC-RPO, 1-я эпоха) обновляет одновременно маршрутизатор, всех четырёх экспертов и веса LoRA.
- При генерации используется детерминированная маршрутизация Top-2 и жадное декодирование (
do_sample=False). - Также доступны варианты релизов на базе
Qwen3-VL-8Bи версия 2-й эпохи обучения.
Что можно сделать
- Встроить в пайплайны извлечения данных из отсканированных счетов, отчётов и скриншотов таблиц с ответами на естественном языке.
- Использовать в задачах табличного QA и проверки фактов (по аналогии с бенчмарками WTQ, TAT-QA и TabFact).
- Сравнить точность работы 1-й эпохи на базе Qwen2.5-VL-7B с чекпоинтом 2-й эпохи или версией на Qwen3-VL-8B.
Пример
export PYTHONPATH=code
python -m tablemoe.infer \
--release-dir . \
--base-model Qwen/Qwen2.5-VL-7B-Instruct \
--image /path/to/table.png \
--question "Your question about the table." \
--device cuda --max-new-tokens 1024 --output generation.json
Подробнее
Бенчмарки (среднее 73.39): TabMWP — 88.47, TabFact — 80.85, InfoTabs — 72.33, HiTab — 69.67, TAT-QA — 64.90, WTQ — 64.11.Загрузка: стандартный
AutoModel.from_pretrained не поддерживается — нужен загрузчик из папки code/ и отдельно скачанная база Qwen/Qwen2.5-VL-7B-Instruct.Ограничения: анонимный чекпоинт для рецензирования (submission #15103), ревизия базовой модели в конфиге помечена как
unverified.









Комментарии