cbx-clinical-entity-extractor-17M
извлечение медицинских сущностей из текстов
2 мин чтенияобновлено
Модель предназначена для автоматического поиска и классификации клинических сущностей в англоязычных текстах, таких как медицинские кейс-репорты. Она выделяет 41 тип сущностей, включая симптомы, заболевания, диагнозы, дозировки медикаментов и анатомические структуры. Решение основано на компактной базе Ettin encoder 17m (около 17 миллионов параметров) и выдает результат в виде плоского списка структурированных спанов с позициями в тексте. Инструмент ориентирован на исследователей и разработчиков, работающих с анализом медицинских документов.
Ключевые особенности
- 41 тип сущностей: распознавание симптомов, болезней, процедур, лекарств, дозировок, дат и анатомии по стандарту MACCROBAT2020.
- Высокая скорость работы: обработка документа примерно за 24 мс на CPU и за 7 мс на GPU.
- Контекстное окно до 2046 токенов: анализ текстов длиной около 9000 символов за один проход с окнами перекрытия для более длинных записей.
- Компактный размер: основана на энкодере с 16.8 миллионами параметров, что позволяет запускать модель даже на скромном железе.
Что можно сделать
- Структурирование отчетов: автоматически извлекать симптомы, назначенные препараты и процедуры из неструктурированных историй болезней.
- Сбор датасетов: формировать выборки данных для медицинских исследований и аналитических баз.
- Анализ литературы: быстро обрабатывать массивы клинических публикаций для поиска упоминаний конкретных патологий или схем лечения.
Пример
from cbx_clinical import ClinicalEntityExtractor
ner = ClinicalEntityExtractor(".") # папка с файлами модели
ner.extract("A 47-year-old woman presented with fever and right upper quadrant pain.")
# [{'label': 'Age', 'start': 2, 'end': 13, 'text': '47-year-old'}, ...]
Подробнее
Бенчмарки: 0.547 exact-match F1 и 0.685 overlap F1 на тестовом сплите MACCROBAT2020.Требования к железу: легкая модель, работает на CPU (~24 мс) и GPU (~7 мс).
Ограничения: только некоммерческое использование (CC BY-NC 4.0), не является медицинским изделием, обрабатывает тексты по одному документу за раз.
Детали обучения: файнтюн Ettin encoder с линейным BIO-слоем тегирования (83 тега) на 140 документах.










Комментарии