HTR-500M
быстрое распознавание рукописного текста на 16+ языках
2 min read
Компактная модель на 497 млн параметров от автора jeeva0810 для HTR (Handwritten Text Recognition — распознавание рукописного текста). Она принимает обрезанное изображение одного слова или одной строки и за один проход переводит их в текст. В основе лежит 24-слойный энкодер Transformer со свёрточным входом и выходом CTC (алгоритм декодирования без авторегрессии), благодаря чему модель работает без генерации токен за токеном и обходит по точности даже 27-миллиардную Qwen 3.8 на 20 из 24 тестовых наборов. Пригодится разработчикам систем оцифровки архивов, анкет и исторических документов, которым нужна высокая пропускная способность на скромном железе.
Ключевые особенности
- Поддержка 16+ языков и рукописей: уверенно читает английский, французский, норвежский, китайский, вьетнамский, 11 индийских языков и средневековые латинские манускрипты.
- Высокая скорость без vLLM: так как у модели нет декодера, на одной NVIDIA H200 (в bf16) она обрабатывает до 3 700 изображений слов или 1 300 строк в секунду батчами.
- Раздельные режимы для слов и строк: параметр
kindпереключает статистику нормализации под тип обрезки (для английских слов это снижает процент ошибок по символам CER с 5.3% до 2.8%). - Готовый HTTP-сервер в комплекте: в репозитории есть
serve.pyна базе FastAPI с динамическим батчингом для параллельных запросов.
Что можно сделать
- Оцифровка исторических архивов и переписей: в карточке модель протестирована на средневековых манускриптах CATMuS и исторических французских документах (Belfort, POPP).
- Высоконагруженный API распознавания бланков: развернуть
serve.pyс эндпоинтом/recognize_batchдля массовой обработки уже нарезанных полей форм и анкет. - Локальная замена тяжёлым VLM: использовать вместо многомиллиардных мультимодальных моделей в пайплайнах, где детектор строк уже выделяет фрагменты текста.
Пример
from huggingface_hub import snapshot_download
import sys; path = snapshot_download("jeeva0810/htr-500m-multilingual"); sys.path.insert(0, path)
from htr_infer import Recognizer
from PIL import Image
rec = Recognizer(path)
print(rec.recognize([Image.open("word.png")], kind="word"))
print(rec.recognize([Image.open("line.png")], kind="line"))
Подробнее
Бенчмарки (полные тестовые выборки, жадное декодирование): CER 0.87% / WER 2.4% на английских словах (ICDAR-24), CER 1.23% на хинди, CER 4.61% на французских строках (RIMES) и CER 11.3% на средневековых манускриптах (CATMuS).Требования и вес: файл
model.safetensors весит 2.0 ГБ (float32), для одного инстанса сервера требуется около 2 ГБ видеопамяти под веса плюс память под батч.Ограничения: модель не умеет сама искать строки на странице (нужна предварительная обрезка), не работает с арабским языком (62% CER), плохо читает строки с соотношением ширины к высоте больше 20:1, а русский, японский и корейский видела при обучении только в виде синтетического печатного текста.
Лицензия: часть обучающих датасетов (включая IAM и RIMES) предназначена только для некоммерческих исследований — проверяйте условия перед коммерческим использованием.










Comments