gysbert-animals-nov26-v2
NER животных в историческом нидерландском
2 min readupdated
Токен-классификатор на базе GysBERT v1 находит упоминания животных в раннем новонидерландском и нидерландском тексте XVIII–XIX веков. Модель на ~0,11 млрд параметров дообучена через genannote без ручной разметки: все метки ставил gpt-6-luna, а предложения отбирались active learning из пула DBNL на 940 тыс. предложений. Автор называет это экспериментом, а не готовым исследовательским инструментом.
Ключевые особенности
- BIO-разметка
B-Animal,I-Animal,O: животные целиком, группы, стадии жизни, переносные употребления и туши; люди, части тела и еда не отмечаются. - Учитель —
gpt-6-lunaв zero-shot с reasoning effort medium; v2 отличается пересмотренными guidelines (prompt v3). - Active learning: 2 250 размеченных предложений, из них 1 211 с животными; около $1,35 на API-вызовы, обучение остановлено после 9-го раунда.
- Та же схема обучения, что у v1; на dev оба варианта показывают одинаковый результат в пределах шума.
- Слабое место — recall: пропускается около четверти animal-токенов; тестовые данные ограничены 8 текстами DBNL.
Пример
from transformers import pipeline
tagger = pipeline(
'token-classification',
model='ArjanvD95/gysbert-animals-nov26-v2',
aggregation_strategy='average',
)
tagger('Den Vos ghijngh wt om een proye, en sach van verre den Leeu.')
Подробнее
Тест: token F1 0,801 (P 0,89 / R 0,73), span F1 0,763; dev F1 0,819. У учителяgpt-6-luna test F1 0,961, но test мог быть смещён в его пользу.Обучение: 2 250 предложений, 1 211 с животными, около $1,35 API; ~0,11 млрд параметров.
Ограничения: пропуск около четверти animal-токенов, узкий набор из 8 текстов, наследуемые ошибки учителя.
Это эксперимент по разметке без человеческих меток, а не финальный инструмент.










Comments