BGE_M3_TID_d_en_el
эмбеддинги диалога без переписывания
1 мин чтенияобновлено
Это файнтюн BAAI/bge-m3 на 0,57 млрд параметров для Text Implicit Decontextualization (TID) на Doc2Dial. Модель сближает эмбеддинг контекста на английском или греческом с эмбеддингом английского самодостаточного переписывания последнего вопроса пользователя. На этапе запроса явное переписывание не нужно.
Ключевые особенности
- Дообучение
BAAI/bge-m3под неявную деконтекстуализацию диалога. - На вход подаются последние 5 реплик, склеенные через
" [SEP] ", на английском или греческом. - Цель обучения — замороженный эмбеддинг английского gold rewrite, loss
1 - cos. - Длинный контекст обрезается слева до 512 токенов, поэтому свежие реплики сохраняются.
- Поиск выполняется по английской базе знаний через cosine similarity.
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('Cutting3dg3/BGE_M3_TID_d_en_el')
turns = ['How do I apply for VA health care?',
'You can apply online, by phone, by mail or in person.',
'What documents do I need for that?']
query = model.encode(' [SEP] '.join(turns[-5:]), normalize_embeddings=True)
Подробнее
На отложенных строках 0–500 Doc2Dial: EN MAP 54.13, R@10 72.93; EL MAP 49.68, R@10 69.53.Обучение: последние 5 реплик (en/el) → замороженный эмбеддинг английского gold rewrite, loss
1 - cos.Контекст до 512 токенов, обрезка слева; поиск — по английской базе, cosine similarity.










Комментарии