SallySims/indicatorfinder-gho-minilm
компактный поиск по индикаторам здравоохранения
2 мин чтенияобновлено
Лёгкая модель для создания эмбеддингов (векторных представлений текста), дообученная на базе популярной sentence-transformers/all-MiniLM-L6-v2 (0.02B параметров, архитектура BertModel). Она переводит текстовые запросы в 384-мерные векторы и позволяет находить семантически близкие формулировки — судя по названию и примерам из датасета, модель заточена под поиск показателей Глобальной обсерватории здравоохранения (GHO) и медицинской статистики. От базовой версии отличается специализацией на коротких формулировках индикаторов и статистических описаний, при этом сохраняет минимальный размер и высокую скорость работы. Пригодится разработчикам поисковых движков, RAG-систем и аналитикам, работающим с базами медицинских или демографических данных.
Ключевые особенности
- Основана на сверхлёгкой модели
all-MiniLM-L6-v2и выдаёт плотные векторы размерностью 384. - Работает с контекстом до 256 токенов и использует косинусное сходство (Cosine Similarity) для оценки близости текстов.
- Дообучена на 15 414 парах фраз (
anchor—positive), связывающих развёрнутые описания с названиями показателей здравоохранения. - Поддерживает стандартный пайплайн библиотеки
sentence-transformersс пулингом по среднему (mean pooling) и нормализацией векторов.
Что можно сделать
- Встроить в семантический поиск или RAG-систему для быстрого сопоставления пользовательских запросов с официальными названиями медицинских и статистических индикаторов.
- Использовать для кластеризации, дедупликации и поиска парафразов в англоязычных базах отчётов и справочников.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("SallySims/indicatorfinder-gho-minilm")
sentences = ['Radionuclear in Africa', 'Radionuclear', 'Lack of infrastructure']
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities)Подробнее
Обучение: 3 эпохи (700+ шагов) с функцией потерь MultipleNegativesRankingLoss, финальный Training Loss — 0.0027.Параметры обучения: batch size 64, learning rate 2e-05, точность fp16, время обучения — 12.8 минут.
Требования к железу: благодаря размеру в 0.02B параметров модель легко запускается даже на CPU.










Комментарии