EpochDB Embed
эмбеддинги, которые ставят актуальные факты выше устаревших
1 min read
EpochDB Embed — файнтюн intfloat/multilingual-e5-small от jersobh для семантического поиска в EpochDB. Модель на 0.12B параметров обучена ранжировать текущие факты о сущностях выше устаревших записей; поддерживает английский, португальский и немецкий.
Ключевые особенности
- Ранжирует актуальные факты выше устаревших — state supersession.
- Английский, португальский и немецкий.
- Эмбеддинги на 384 измерения, max sequence length 512, cosine после нормализации.
- Работает через Sentence Transformers; обязательны префиксы
query:иpassage:. - GGUF/Ollama-вариант экспериментальный: конвертация использовала локальный патч pre-tokenizer.
- Обучение на mixed triplets: MS MARCO-style и Natural Questions-style срезы, когда доступны, плюс синтетические hard negatives EN+PT+DE.
Пример
from sentence_transformers import SentenceTransformer
m = SentenceTransformer('jersobh/epochdb-embed')
q = 'query: Where does Lukas work and live now?'
d = ['passage: Fact: Lukas is currently working at Sixt and living in Berlin.',
'passage: Outdated record: Lukas used to work at Hive Consulting in Lisboa.']
qv = m.encode(q, normalize_embeddings=True)
dv = m.encode(d, normalize_embeddings=True)
print((qv @ dv.T).tolist())
Подробнее
Бенчмарков в карточке нет. База — intfloat/multilingual-e5-small, 384 измерения, max sequence 512, cosine по нормализованным эмбеддингам.Обучение: MultipleNegativesRankingLoss, ~1 эпоха, batch 16 × grad accum 4, lr 2e-5, bf16; синтетические hard negatives шаблонные.
GGUF/Ollama — экспериментально: конвертация с локальным патчем pre-tokenizer, перед продакшеном сверяйте с Sentence Transformers.










Comments