Publication Country Classifier
классификатор стран по научным публикациям
2 min readupdated
Модель pub-country-classifier создана на базе архитектуры ModernBERT-base и решает задачу многометочного определения географической принадлежности научных публикаций по их названию и аннотации. На выходе инструмент выдает вероятности для 249 ISO-кодов стран, которые затем фильтруются с помощью откалиброванных порогов. Разработка полезна для исследователей, библиометрических систем и агрегаторов научных статей, которым требуется автоматическая геопривязка материалов.
Ключевые особенности
- Обучена распознавать упоминания до 249 ISO 3166-1 alpha-2 кодов стран.
- Использует многометочную сигмоидную «голову» поверх ModernBERT-base.
- Поддерживает анализ текстов с передачей заголовка на первой строке и аннотации на второй.
- Поставляется с готовыми файлами порогов (thresholds.json) и кодов для точной фильтрации.
Что можно сделать
- Автоматически размечать базы данных научных статей и отчетов по странам-участницам исследований.
- Интегрировать классификатор в пайплайны обработки текстов для фильтрации геотаргетированных публикаций.
Пример
import json, torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import huggingface_hub
tok = AutoTokenizer.from_pretrained("Geraldine/pub-country-classifier")
model = AutoModelForSequenceClassification.from_pretrained("Geraldine/pub-country-classifier")
codes = json.load(huggingface_hub.hf_hub_download("Geraldine/pub-country-classifier", "codes.json"))
thr = json.load(huggingface_hub.hf_hub_download("Geraldine/pub-country-classifier", "thresholds.json"))
text = "Water quality governance in rural India\nThis study examines village-level water policy in India ..."
enc = tok(text, truncation=True, max_length=512, return_tensors="pt")
with torch.no_grad():
probs = torch.sigmoid(model(**enc).logits)[0]
detections = {codes[i]: round(float(probs[i]), 3) for i in range(len(codes)) if float(probs[i]) >= thr[codes[i]]}
print(detections)
Подробнее
• micro_f1: 0.9572• top1_accuracy_on_labelled_rows: 0.868
• precision_at_top1: 0.9927
• Ограничения: корпус на английском языке, тексты длиннее 512 токенов обрезаются, а метки основаны на текстовых упоминаниях










Comments