Typhoon OCR V2 0.8B EAGLE-3
ускоритель генерации для OCR
2 min readupdated
Это вспомогательный модуль (draft head на базе метода EAGLE-3) от команды typhoon-ai, который ускоряет работу модели распознавания документов Typhoon OCR V2 0.8B в движке vLLM. Модуль использует спекулятивное декодирование (технику, при которой лёгкая надстройка предсказывает сразу несколько следующих токенов, а основная модель проверяет их за один проход). Сама по себе модель не работает и запускается только в паре с базовой версией на 0.8B параметров. Решение пригодится разработчикам, которым нужно быстрее парсить страницы документов и извлекать из них текст или JSON без потери качества.
Ключевые особенности
- Прирост скорости в 1.5–1.7 раза: на каждом шаге надстройка предлагает 3 токена вперёд, в среднем принимается 70% из них (около 3.1 токена за шаг вместо одного).
- Сохранение качества распознавания: при жадном декодировании (greedy decoding) точность на бенчмарке MDPBench остаётся на уровне базовой модели.
- Компактная архитектура: модуль весит около 0.31B параметров (включая копию эмбеддингов), состоит из одного слоя трансформера и работает со словарём из 32 000 частых токенов.
- Поддержка документов на английском и тайском: обучение проходило на 18 988 примерах с упором на парсинг полных страниц в JSON и тайские тексты.
Что можно сделать
- Ускорить API-сервер распознавания документов: подключить модуль через флаг
--speculative-configв vLLM для более быстрой обработки входящих сканов и PDF. - Увеличить пропускную способность при пакетной обработке: ускорить оцифровку архивов при одновременной обработке нескольких запросов.
Пример
from vllm import LLM
llm = LLM(
model="typhoon-ai/typhoon-ocr2-0.8b",
max_model_len=40960,
limit_mm_per_prompt={"image": 1},
speculative_config={"method": "eagle3", "model": "typhoon-ai/typhoon-ocr2-0.8b-eagle3", "num_speculative_tokens": 3},
)
Подробнее
Скорость на 1 H100 (vLLM 0.33.0): 546 токенов/с против 327 при 1 запросе (1.7×) и 2 570 против 1 488 при 16 запросах (1.5×).Точность на MDPBench (320 страниц): 76.9 балла против 76.8 у базовой модели (77.2 на английском и 76.6 на тайском).
Ограничения: работает только в vLLM (тестировалось на версии 0.33.0), не поддерживается в Transformers, llama.cpp, Ollama и MLX.
Совместимость и лицензия: подходит строго для typhoon-ocr2-0.8b (для версии 2B есть отдельный модуль), лицензия Apache 2.0.










Comments