gbert-base-contact-ner
контакты компаний из немецких страниц
1 min read
Это token-classification модель от andyP на базе deepset/gbert-base (~110M параметров). Она дообучена искать в немецкоязычных страницах компаний улицу, индекс, город, страну, телефон, факс, email, часы работы, метку локации, отдел и контактное лицо. Входит в gpu-ветку пакета company_research.contact.
Ключевые особенности
- 11 полей в BIO-формате, всего 23 метки; модель возвращает только span'ы из входного текста и ничего не нормализует.
- Обучена на страницах 800 немецких сайтов (DE, CH, AT), разметка — LLM-агенты Claude Opus; в train 565 размеченных страниц.
- На вход подаётся markdown-текст страницы, не raw HTML; длинные страницы нужно нарезать окнами по 512 токенов с overlap 128.
- Есть готовый вызов через company_research.contact: contact.from_site(..., device="gpu") — правда, пакета нет на PyPI.
- Слабые места — street, email и opening hours; в полном пайплайне эти поля отдают regex/CRF.
Пример
from transformers import AutoModelForTokenClassification, AutoTokenizer
tok = AutoTokenizer.from_pretrained('andyP/gbert-base-contact-ner')
model = AutoModelForTokenClassification.from_pretrained('andyP/gbert-base-contact-ner').eval()
Подробнее
Micro F1 70.2 на размеченных контактных страницах; end-to-end пайплайн — 73.6 (DE 71.0, CH 80.0, AT 72.9).Для device="gpu" нужны torch и transformers; без CUDA модель работает на CPU, но заметно медленнее.
Ограничения: только немецкие страницы компаний; разметка LLM не проверена людьми, поэтому оценки — согласие с ней. Худшие поля: street 64.9, email 70.7, opening hours 48.9.










Comments