docstructure-4b-v64-m3k-cut24-fullm
модель для анализа структуры документов
2 мин чтенияобновлено
Эта модель создана на базе Qwen3.5-4B (языковая модель с открытым исходным кодом от команды Qwen) и обучена анализировать структуру документов. Она принимает на вход изображения страниц и текстовые регионы, а на выходе формирует иерархическое дерево заголовков. Модель была получена путём обрезки базовой модели до 24 блоков, промежуточного обучения LoRA (небольшая надстройка над базовой моделью для быстрой адаптации) с последующим полным слиянием весов и дообучением. Она подойдет разработчикам и исследователям, занимающимся парсингом сложных документов и автоматическим извлечением оглавлений.
Ключевые особенности
- Специализация: построение дерева родителей для каждого региона разметки документа.
- Архитектура: усеченная версия Qwen3.5-4B, содержащая первые 24 языковых блока.
- Обучение: комбинация первоначального обучения ранга-16 LoRA и последующего полного обновления весов языковой части.
- Формат вывода: использование специальных одно-токенных маркеров из словаря для быстрой генерации связей.
Что можно сделать
- Анализ документов: обрабатывать многостраничные PDF-файлы или сканы для автоматического создания оглавлений.
- Интеграция в пайплайны: использовать модель в системах OCR (распознавание текста) и извлечения структуры для научных или юридических текстов.
Пример
Модель использует стандартные конфигурационные файлы, а также скрипты регистрации шаблонов вроде register_lz.py и common.py для работы с изображениями страниц и токенами.
Подробнее
Потеря на отложенной выборке: 0.031 (у слияния было 0.036).Бенчмарки HeadTEDS (MarathonDocBench / MPDocBench): 57.06 / 61.21 (draft-head, bf16).
Обучающие данные: 185 синтетических документов с окнами от 1 до 90 страниц.










Комментарии