DICE-NEST-CRF-GENIA
вложенные сущности в биомедицине
2 min readupdated
Модель размечает именованные сущности в биомедицинских текстах и отдельно рассчитана на вложенные сущности, когда одна сущность находится внутри другой. В основе — transformer-энкодер для контекстных признаков и CRF (условное случайное поле, слой для последовательной разметки) для предсказания структурированных меток. Обучение и оценка шли на датасете GENIA, реализация — на PyTorch. Это исследовательская работа: автор приводит Precision 76,08%, Recall 74,55% и F1 75,30% на тестовой части GENIA. Пригодится для разбора научных текстов и экспериментов с nested NER.
Ключевые особенности
- Поддержка nested NER: модель рассчитана на сущности, вложенные друг в друга.
- Transformer-энкодер + CRF для контекстных представлений и последовательной разметки.
- Обучение и тест на GENIA — биомедицинском корпусе.
- На тесте GENIA: Precision 76,08%, Recall 74,55%, F1 75,30%.
- PyTorch; в репозитории есть encoder, tokenizer, config.json, model_state.pt и test_metrics.json.
Что можно сделать
- Размечать биомедицинские сущности в научных абстрактах и статьях для literature mining.
- Использовать как исследовательский baseline для nested NER и сравнения с другими CRF/transformer-подходами.
- Проверять, как модель работает на другой разметке или домене: карточка прямо предупреждает, что нужна дополнительная оценка.
- Встроить в пайплайн извлечения информации, если нужна разметка вложенных сущностей GENIA.
Пример
Сценарий из карточки: подать фрагмент биомедицинской статьи в token-classification pipeline и получить разметку сущностей, включая вложенные.
Подробнее
Тест GENIA: Precision 76,08%, Recall 74,55%, F1 75,30%.Gold Entities — 5 029, Predicted Entities — 4 928.
Ограничение: качество зависит от датасета, схемы аннотации и набора меток; вне обучающего домена нужна отдельная проверка.
Базовая модель в карточке не указана; реализация на PyTorch.










Comments