PaddleOCR-VL-1.6 SFT800
модель и полный пакет для распознавания таблиц
2 мин чтенияобновлено
Компактная визуально-языковая модель (VLM) от автора CheneyWong на 0,96 млрд параметров, дообученная для точного распознавания таблиц и формул в документах. Репозиторий основан на PaddlePaddle/PaddleOCR-VL-1.6 и представляет собой промежуточный чекпоинт после 800 шагов SFT (Supervised Fine-Tuning — дообучение с учителем), подготовленный как стартовая точка для дальнейшего RL-обучения. В отличие от обычных выгрузок весов, здесь опубликован полноценный снимок эксперимента: исходный код пайплайна на базе VeRL, датасеты, скрипты оценки и веса детектора разметки PP-DocLayoutV3. Инструмент пригодится разработчикам систем OCR, инженерам по извлечению данных из PDF и исследователям, изучающим RL-дообучение VLM на сложных документах.
Ключевые особенности
- Компактный размер: всего 0,96B параметров при сохранении специализации на сложном распознавании таблиц и формул.
- Полная воспроизводимость: помимо весов в корень выложены конфиги DAPO/RL-обучения, адаптации под Paddle и исходники VeRL.
- Готовые датасеты и бенчмарки: в архиве лежат 16 091 пример для SFT, 2 499 для RL, а также наборы для оценки на фрагментах (173 141 пример) и целых страницах (2 864 страницы).
- Встроенная детекция макета: в состав пакета включены веса
PP-DocLayoutV3и скрипты нормализации формул для корректного парсинга страниц.
Что можно сделать
- Извлекать сложные таблицы и формулы: использовать веса SFT800 в локальных OCR-пайплайнах для оцифровки научных статей, отчётов и сканов на английском и китайском языках.
- Продолжить RL-дообучение: взять чекпоинт за основу и запустить собственное обучение с подкреплением на базе встроенных скриптов VeRL и DAPO.
- Тестировать свои OCR-модели: применить обновлённые скрипты оценки и подготовленные сплиты (crop и fullpage) для замера качества распознавания таблиц.
Пример
hf download CheneyWong/paddleocr-vl16-sft800-rl-repro \
--local-dir /workspace/sft800 \
--include '*.safetensors' --include '*.json' --include '*.model' \
--include '*.jinja' --include '*.py' \
--exclude 'repro/*' --exclude 'assets/*' --exclude 'scripts/*' \
--exclude 'environment/*' --exclude 'examples/*'
Подробнее
Полный размер репозитория со всеми датасетами и кодом составляет около 16,7 ГБ (отдельно веса весят значительно меньше).Пакет включает веса для инференса и продолжения обучения, но не содержит состояния оптимизатора, планировщика и RNG с 800-го шага.
В окружении есть конфликты зависимостей с последними версиями библиотек — автор рекомендует ставить всё строго по инструкции из
docs/ENVIRONMENT.md.Часть обучающих и тестовых разметок получена с помощью машинных псевдометок, поэтому при сравнении моделей важно фиксировать единую версию разметки.










Комментарии