lcsh-decide-lora-onnx
проверка библиотечных предметных рубрик на CPU
2 min read
Набор LoRA-адаптеров (небольших надстроек над базовой моделью) и готовых ONNX-сборок на базе fastino/GLiNER2.5-Decide от автора DavidAtwood. Модель помогает проверять корректность построения предметных рубрик Библиотеки Конгресса США (LCSH): подходит ли подрубрика к основному заголовку, верно ли размечены географические и тематические деления и к какому типу относится сам заголовок. Автор позиционирует вывод модели не как окончательный приговор, а как сигнал для каталогизатора, на какие записи стоит обратить внимание в первую очередь. Пригодится специалистам по библиотечным системам, архивам и разработчикам пайплайнов валидации метаданных, которым нужно быстрое решение без GPU.
Ключевые особенности
- Шесть задач в одном адаптере: проверка сочетаемости подрубрик на первой и последующих позициях, работа с редкими инструкциями, валидация географических цепочек, разделение «место или тема» и классификация типа заголовка.
- Готовые ONNX-версии под CPU: в репозитории лежат полная сборка
fp32(1,693 MiB) и квантованнаяint8(629 MiB), обе запускаются на обычном ноутбучном процессоре без видеокарты. - Калибровка уверенности: для
int8-версии приложен файлcalibration.json(температурное масштабирование и калибровка Платта), снижающий излишнюю самоуверенность оценок. - Открытая лицензия: адаптеры, ONNX-веса и примеры скриптов распространяются под Apache 2.0.
Что можно сделать
- Автоматически отсеивать подозрительные комбинации рубрик и подрубрик при массовом импорте или ретроконверсии библиотечных каталогов.
- Проверять правильность иерархии географических названий (например, отличать корректную цепочку страна–город от перевёрнутой) и корректность MARC-кодирования места (
$z) и темы ($x). - Запускать проверку локально в фоновых скриптах на сервере или рабочем ноутбуке через
onnxruntimeбез установки тяжеловесного PyTorch.
Пример
from gliner2 import AutoExtractor
from gliner2.training.lora import load_lora_adapter, merge_lora_weights
model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide").eval()
load_lora_adapter(model, "adapters/six-task")
merge_lora_weights(model)
tasks = {"coverage": {"labels": LABELS, "prompt": "Is the heading one of the kinds of heading named in the usage statement?"}}
model.batch_classify_text([text], tasks, batch_size=1, include_confidence=True)Подробнее
Качество: на версии fp32 точность определения типа заголовка достигает 88.7%, AUC для первой подрубрики — 0.972, для разделения «место или тема» — 0.998.Производительность (CPU, 4 потока): int8 обрабатывает строку за 69 мс (медиана) при пике памяти 1,703 MiB; fp32 — за 144 мс при 2,752 MiB.
Обучение: LoRA (r=16, alpha=32) на 68 303 строках из открытых авторитетных данных Библиотеки Конгресса, 2 эпохи на одной RTX 5070 (99 минут).
Ограничения: при калиброванном пороге 0.5 модель отлавливает 85% синтетических ошибок и помечает 2.6% валидных строк; версия int8 может ошибаться на перевёрнутых географических цепочках.










Comments