MinerU-HTML-v1.1-qwen3.5-0.8B-compact

MinerU-HTML от OpenDataLab — инструмент извлечения основного контента из сложного HTML веб-страниц на базе Small Language Models: он отмечает главные элементы и отфильтровывает навигацию, рекламу и метаданные. Версия MinerU-HTML-v1.1-qwen3.5-0.8B-compact — Model Derivative Qwen3.5-0.8B-Base с поддержкой контекста 256k и компактным форматом вывода для меньшей задержки инференса.

✨ Ключевые особенности

• 💻 Извлечение на базе LLM: модель классифицирует элементы страницы как main или other.
• ✨ Компактный формат вывода вместо исходного JSON ускоряет инференс.
• ✔ Regex structured output вместо кастомного logits processor — можно использовать backend vLLM v1.
• 📚 Полный pipeline: упрощение HTML, сборка промпта, инференс, парсинг и извлечение основного HTML.
• 🔮 Три backend: VLLM, Transformers и OpenAI API.
• ✅ Fallback-механизм (trafilatura, bypass или empty) сохраняет извлечение при сбоях.

💻 Пример

from mineru_html import MinerUHTML, MinerUHTMLConfig

config = MinerUHTMLConfig(use_fall_back='trafilatura', prompt_version='short_compact', response_format='compact')
extractor = MinerUHTML(model_path='path/to/your/model', config=config)
result = extractor.process('<html>...</html>')
print(result[0].main_html)

Подробнее

На WebMainBench v1.1 (7 809 страниц) ROUGE-N.f1: 0.9042 у MinerU-HTML-v1.1 (Qwen3.5-0.8B), 0.9098 у DeepSeek-V3* и 0.9024 у GPT-5*.
* — GPT-5/DeepSeek-V3 использовались для извлечения main HTML в рамках MinerU-HTML вместо файнтюненной модели.
Модель — derivative Qwen3.5-0.8B-Base, лицензия Apache 2.0; контекст 256k.
Для compact-версии: prompt_version='short_compact' и response_format='compact'; локально нужны VLLM или Transformers.