bangla-hw-lora
LoRA для построчного распознавания банглайского почерка
2 min read
Это LoRA-адаптер от Rakesh Ranjan к Qwen3-VL-8B-Instruct, который переводит одну строку банглайской рукописи с изображения в Unicode-текст. Обучен через QLoRA на строчных кропах из датасета BN-HTR. Рассчитан именно на одну строку, а не на целые страницы.
Ключевые особенности
- База —
Qwen3-VL-8B-Instruct; адаптер QLoRA: 4-bit NF4, r=32, alpha=64, vision tower заморожен. - Работает с одним кропом строки, похожим на BN-HTR: медиана около 1870 × 146 px; выход нормализуется в NFC.
- Не подходит для целых страниц и многострочных изображений: процессор ограничивает изображение примерно 0.8 MP, а страницы BN-HTR — около 6.5 MP.
- Не обучен на печатном тексте, других письменностях и языках; для них лучше базовая модель с отключённым адаптером.
- Лучшая валидационная потеря — 0.1923 на шаге 1200; в репозитории лежат веса именно из этого checkpoint.
- Загрузка в 4-bit требует CUDA GPU примерно с 16 GB VRAM; обучение шло около 14 часов на RTX 4060 Ti 16 GB.
Пример
from PIL import Image
from common import load_model, load_processor
from evaluate import transcribe
proc = load_processor()
model = load_model(adapter="outputs/bangla-hw-lora").eval()
print(transcribe(model, proc, Image.open("line.png").convert("RGB")))
Подробнее
CER и WER на тесте пока не измерены — это главное ограничение оценки.Лучший eval loss: 0.1923 на шаге 1200; после второй эпохи модель начала переобучаться.
Для 4-bit инференса нужно около 16 GB VRAM.
Лицензия не указана; у базовой модели — Apache-2.0, условия BN-HTR нужно проверить отдельно.
В BN-HTR нет writer ID, поэтому тестовые метрики для новых авторов могут быть оптимистичными.










Comments