kev-4b LUX Places

Это LoRA-адаптер от Yale Cultural Heritage AI для проверки LUX place records: указывают ли внешние авторитетные записи (Wikidata, GeoNames, Who's On First, Getty TGN, Library of Congress, GND), объявленные эквивалентными, на одно и то же реальное место. Модель отвечает на Noul-вопросы вероятностью true/false и умеет проверять как весь набор эквивалентов, так и отдельные пары.

🧐 Ключевые особенности

• 🧐 Проверяет Noul-утверждения и возвращает true/false с вероятностью: все ли внешние эквиваленты записи LUX указывают на одно место и совпадают ли отдельные пары.
• 🤖 PEFT LoRA r16 / α32 на Qwen/Qwen3.5-4B-Base; продолжает адаптер kev-4b-europeana-persons и затрагивает attention, MLP и DeltaNet projections.
• 👀 Обучен на выборке 1000 из 143 559 LUX places с двумя и более внешними эквивалентами; использованы 2063 согласованных решения Gemini 3.1 Flash Lite и TypeSafe's Jev.
• 🔥 На held-out тесте: balanced accuracy 0.940, AUROC 0.989, Brier 0.044 против 0.795 / 0.944 / 0.115 у базового адаптера.
• 🚀 В chai-engine подключается как pointer-модель: ~135 MB адаптера плюс 4B базовая модель; около 0.5 с на решение на M4 Max после загрузки.
• 🫤 Метки — машинный консенсус двух моделей, не проверены людьми; метрики показывают согласие с этим консенсусом, а не точность.

🚀 Пример

Запуск workflow, который ищет over-merge:

python flag_overmerged_places.py places.lmdb --sample 1000 \
    --model pointer/yale-cultural-heritage/kev-4b-lux-places-equivalence \
    --device mps --workers 1 --pair-workers 1

Подробнее

Тест: 499 решений по 150 местам; balanced accuracy 0.940, AUROC 0.989, Brier 0.044 (базовый адаптер — 0.795 / 0.944 / 0.115).
Для пар: 0.947 balanced accuracy и 0.992 AUROC; для whole-place: 0.852 и 0.972.
Нужны ~135 MB адаптера и 4B базовая Qwen; в chai-engine около 0.5 с на решение на M4 Max после загрузки.
Ограничение: метки — согласие двух моделей, без проверки людьми; 29 ошибок на тесте в основном спорные слияния.