К содержимому
Другое

lcsh-decide-lora-onnx

проверка библиотечных предметных рубрик на CPU

2 мин чтения

Набор LoRA-адаптеров (небольших надстроек над базовой моделью) и готовых ONNX-сборок на базе fastino/GLiNER2.5-Decide от автора DavidAtwood. Модель помогает проверять корректность построения предметных рубрик Библиотеки Конгресса США (LCSH): подходит ли подрубрика к основному заголовку, верно ли размечены географические и тематические деления и к какому типу относится сам заголовок. Автор позиционирует вывод модели не как окончательный приговор, а как сигнал для каталогизатора, на какие записи стоит обратить внимание в первую очередь. Пригодится специалистам по библиотечным системам, архивам и разработчикам пайплайнов валидации метаданных, которым нужно быстрое решение без GPU.

Ключевые особенности

  • Шесть задач в одном адаптере: проверка сочетаемости подрубрик на первой и последующих позициях, работа с редкими инструкциями, валидация географических цепочек, разделение «место или тема» и классификация типа заголовка.
  • Готовые ONNX-версии под CPU: в репозитории лежат полная сборка fp32 (1,693 MiB) и квантованная int8 (629 MiB), обе запускаются на обычном ноутбучном процессоре без видеокарты.
  • Калибровка уверенности: для int8-версии приложен файл calibration.json (температурное масштабирование и калибровка Платта), снижающий излишнюю самоуверенность оценок.
  • Открытая лицензия: адаптеры, ONNX-веса и примеры скриптов распространяются под Apache 2.0.

Что можно сделать

  • Автоматически отсеивать подозрительные комбинации рубрик и подрубрик при массовом импорте или ретроконверсии библиотечных каталогов.
  • Проверять правильность иерархии географических названий (например, отличать корректную цепочку страна–город от перевёрнутой) и корректность MARC-кодирования места ($z) и темы ($x).
  • Запускать проверку локально в фоновых скриптах на сервере или рабочем ноутбуке через onnxruntime без установки тяжеловесного PyTorch.

Пример

from gliner2 import AutoExtractor
from gliner2.training.lora import load_lora_adapter, merge_lora_weights

model = AutoExtractor.from_pretrained("fastino/GLiNER2.5-Decide").eval()
load_lora_adapter(model, "adapters/six-task")
merge_lora_weights(model)
tasks = {"coverage": {"labels": LABELS, "prompt": "Is the heading one of the kinds of heading named in the usage statement?"}}
model.batch_classify_text([text], tasks, batch_size=1, include_confidence=True)
ПодробнееКачество: на версии fp32 точность определения типа заголовка достигает 88.7%, AUC для первой подрубрики — 0.972, для разделения «место или тема» — 0.998.
Производительность (CPU, 4 потока): int8 обрабатывает строку за 69 мс (медиана) при пике памяти 1,703 MiB; fp32 — за 144 мс при 2,752 MiB.
Обучение: LoRA (r=16, alpha=32) на 68 303 строках из открытых авторитетных данных Библиотеки Конгресса, 2 эпохи на одной RTX 5070 (99 минут).
Ограничения: при калиброванном пороге 0.5 модель отлавливает 85% синтетических ошибок и помечает 2.6% валидных строк; версия int8 может ошибаться на перевёрнутых географических цепочках.
Обсудить Telegram 0

Запустится ли?

Запустится в F32

Влезает без сжатия.

  • F32веса 3.5 GB · готовые файлы4.3 GB
  • BF16веса 2.6 GB3.3 GB
  • FP8 / INT8рекомендуемвеса 2.1 GB2.8 GB
  • 4-bitвеса 1.9 GB2.6 GB

Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.

Что взять под эту модель

Massed ComputeОткрыть Massed Compute

Своя видеокарта: FP8 / INT8 — от RTX 2060 · F32 — от RTX 2060

Почасовые цены Massed Compute на ноябрь 2026. Цена со скидкой — с промокодом при оплате.

Это LoRA: вместе с базовой моделью GLiNER2.5-Decide.

Оценка: веса плюс рабочая память. Длинные ролики, высокое разрешение и большой контекст требуют больше.

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # DavidAtwood/lcsh-decide-lora-onnx
    # ===== Токены: вставьте свои между кавычками =====
    export HF_TOKEN=""        # huggingface.co/settings/tokens — для закрытых моделей
    # ==========================================
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download fastino/GLiNER2.5-Decide --local-dir ~/models/GLiNER2.5-Decide
    hf download DavidAtwood/lcsh-decide-lora-onnx --local-dir ~/models/lcsh-decide-lora-onnx
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к GLiNER2.5-Decide
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Нужна базовая модель

fastino/GLiNER2.5-Decide

Эта модель — LoRA / адаптер. Сначала скачайте базовую модель, затем подключите к ней эту.

  1. gliner2-large-v1основа семьи
  2. GLiNER2.5-Decide
  3. lcsh-decide-lora-onnx

Новые посты про версии gliner2-large-v1 — сжатые, дообучения, LoRA — появятся в колокольчике.

Сжатые версии 4Все на Hugging Face
Дообучения 11Все на Hugging Face
LoRA и адаптеры 12Все на Hugging Face

О модели

DavidAtwood/lcsh-decide-lora-onnx
Автор
DavidAtwood
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

00

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

amaara-decide-vision

amaara-decide-vision