lopozz/splade-bert-base-italian-xxl-uncased
разреженный энкодер для поиска на итальянском
1 мин чтенияобновлено
Модель представляет собой асимметричный разреженный энкодер (Asymmetric Inference-free SPLADE Sparse Encoder) на базе архитектуры dbmdz/bert-base-italian-xxl-uncased, обученный с помощью библиотеки sentence-transformers. Она сопоставляет предложения и параграфы с разреженным векторным пространством высокой размерности (31102 измерения) и предназначена для эффективного семантического поиска и разреженного поиска (sparse retrieval). Модель обучена на корпусе из более чем 500 тысяч пар вопросов и ответов для работы с текстами на итальянском языке.
Ключевые особенности
- Базируется на модели
dbmdz/bert-base-italian-xxl-uncased - Поддерживает максимальную длину последовательности до 512 токенов
- Создает разреженные векторные представления размерностью 31102
- Использует функцию сходства на основе скалярного произведения (Dot Product)
Что можно сделать
- Настроить семантический поиск по документам на итальянском языке в поисковых системах
- Выполнять разреженный поиск и сопоставление вопросов с ответами в базах знаний
- Интегрировать модель в пайплайны обработки текста с помощью библиотеки
sentence-transformers
Пример
from sentence_transformers import SparseEncoder
model = SparseEncoder("lopozz/splade-bert-base-italian-xxl-uncased")
sentences = [
"Cos'è un atomo di zolfo?",
"Lo zolfo è un elemento chimico non metallico...",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
Подробнее
Метрики на датасете mmarco: dot_ndcg@10 составляет 0.7107, dot_accuracy@10 — 0.8327, dot_mrr@10 — 0.6771.Размер тренировочного датасета: 532,751 сэмплов (пары query и answer).
Лицензия: apache-2.0.










Комментарии