Escriba-OCR-1B
распознавание рукописного текста с сохранением ошибок
2 мин чтенияобновлено
Модель специализируется на оцифровке рукописных студенческих эссе на бразильском португальском языке и в отличие от универсальных OCR (систем распознавания текста) и VLM (визуально-языковых моделей) не исправляет ошибки автора, а точно переносит их строка за строкой. Базой для нее послужила архитектура LightOnOCR-3-1B (сочетающая энкодер Pixtral и декодер Qwen3), содержащая около 1 млрд параметров. Решение обучено на датасете BRESSAY и передает зачеркивания, исправления и дефисы при переносе строк с помощью специальной разметки. Модель пригодится преподавателям, исследователям и разработчикам образовательных инструментов для анализа реальных студенческих работ.
Ключевые особенности
- Специализация на рукописном тексте: точно расшифровывает почерк в эссе и сохраняет оригинальную орфографию студентов.
- Сохранение правок: передает зачеркнутые слова, надстрочные и подстрочные вставки с помощью разметки BRESSAY.
- Компактный размер: около 1 миллиарда параметров позволяет запускать модель как на GPU, так и на обычном CPU через GGUF-формат.
- Высокая точность: превосходит многие крупные открытые модели на профильном датасете благодаря специализированному дообучению.
Что можно сделать
- Цифровизация архивов: переводить в текст бумажные работы учеников для автоматизированного сбора корпусов текстов.
- Лингвистические исследования: анализировать развитие письменной речи и типичные орфографические ошибки учащихся.
- Интеграция в софт: использовать модель в локальных пайплайнах обработки документов с помощью vLLM или llama.cpp.
Пример
# pip install "vllm>=0.34" pillow
import base64, io
from PIL import Image
from vllm import LLM, SamplingParams
def to_data_url(path, long_side=1200):
im = Image.open(path).convert("RGB")
f = long_side / max(im.size)
im = im.resize((round(im.width * f), round(im.height * f)), Image.LANCZOS)
buf = io.BytesIO(); im.save(buf, format="PNG")
return "data:image/png;base64," + base64.b64encode(buf.getvalue()).decode()
llm = LLM(model="tardellirs/Escriba-OCR-1B", max_model_len=8192, limit_mm_per_prompt={"image": 1})
params = SamplingParams(temperature=0.0, repetition_penalty=1.05, max_tokens=2048)
messages = [{"role": "user", "content": [{"type": "image_url", "image_url": {"url": to_data_url("redacao.jpg")}}]}]
print(llm.chat([messages], params)[0].outputs[0].text)
Подробнее
Бенчмарки: CER (уровень ошибки по символам) составляет 2.06% на тестовом сплите BRESSAY, WER — 5.9%.Требования к железу: эффективный запуск через vLLM на GPU или через llama.cpp на CPU (около 3.5 ГБ RAM для квантования Q4_K_M).
Ограничения: лицензия CC BY-NC 4.0 (только некоммерческое использование, унаследовано от данных обучения).
Детали: модель не предназначена для оценки эссе, печатных документов или других языков, кроме португальского.










Комментарии