lsh-forest-clinical-recommender
рекомендательный движок для медицины
2 min readupdated
Референсная реализация рекомендательной системы на основе коллаборативной фильтрации по пользователям, созданная в рамках исследовательского проекта университета UEFS (Бразилия). Модель принимает историю медицинских процедур и консультаций пациента и подсказывает релевантные следующие услуги. Под капотом используются алгоритмы MinHash (быстрая оценка схожести множеств) и LSH Forest (индекс для поиска ближайших соседей за сублинейное время) на базе библиотеки datasketch. В отличие от классических тяжёлых моделей, движок рассчитан на работу в оперативной памяти в serverless-среде и учитывает клинические ограничения по полу.
Ключевые особенности
- Поиск похожих профилей пациентов с помощью LSH Forest и MinHash на 200 перестановках для быстрой оценки схожести Жаккара.
- Автоматическая фильтрация рекомендаций с учётом пола пациента (например, исключение чисто женских консультаций для мужчин).
- Четырёхуровневая система плавной деградации для решения проблемы холодного старта (cold start) при нехватке данных о новом пациенте.
- Поддержка одиночных запросов в реальном времени и пакетной обработки (batch_query до 300 запросов) с LRU-кэшированием в RAM.
Что можно сделать
- Встроить в медицинскую информационную систему или клинику для подсказки врачу и пациенту релевантных анализов и консультаций.
- Адаптировать пайплайн на базе
datasketchдля других рекомендательных сервисов с разреженными бинарными взаимодействиями и жёсткими бизнес-фильтрами. - Использовать как готовый шаблон для развёртывания лёгкого рекомендательного API в serverless-архитектуре без GPU.
Пример
from lsh_recommender import LSHClinicalRecommender
patients = {
"P001": {"sex": "F", "items": ["Pressão Arterial|Procedimento", "Glicemia|Procedimento"]},
"P002": {"sex": "M", "items": ["Pressão Arterial|Procedimento", "Cólica Menstrual|Consulta"]},
}
model = LSHClinicalRecommender(num_perm=200, k_query=20)
model.fit(patients)
print(model.recommend(items=["Pressão Arterial|Procedimento"], sex="M", k=3))
Подробнее
Экспериментальные метрики (Rocha-Junior et al., 2025): средняя точность (Mean Precision) — 15,1%, полнота (Recall) — ~92%.Задержка инференса в памяти при тёплом старте (warm start): ~0,2–0,3 секунды (кэш LRU до 50 записей).
Параметры фильтрации профилей при построении индекса: от 2 до 100 элементов (отсечение выбросов), k_build = 80, k_query = 20.










Comments