harrier-oss-v1-0.6b
мощная мультиязычная модель эмбеддингов от Microsoft
1 мин чтенияобновлено
Модель превращает текст в плотные векторные представления (эмбеддинги) для поиска, классификации и кластеризации данных. Модель основана на декодерной архитектуре с размером 0.6B параметров и поддерживает длину контекста до 32,768 токенов. Она обучена с использованием дистилляции знаний от более крупных моделей и показывает отличные результаты на бенчмарках. Пригодится разработчикам для создания поисковых систем, систем семантического поиска и рекомендательных систем на разных языках, включая русский.
Ключевые особенности
- Поддержка огромного контекста до 32 768 токенов для длинных документов
- Мультиязычность с поддержкой русского и десятков других языков
- Высокие показатели на бенчмарке Multilingual MTEB v2
- Использование last-token pooling (извлечение эмбеддинга из последнего токена)
Что можно сделать
- Настроить семантический поиск по документам или базе знаний в проекте
- Реализовать классификацию текстов и кластеризацию данных
- Проводить битекстовый майнинг и реранкинг результатов
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("microsoft/harrier-oss-v1-0.6b", model_kwargs={"dtype": "auto"})
queries = ["how much protein should a female eat"]
documents = ["As a general guideline, the CDC's average requirement..."]
query_embeddings = model.encode(queries, prompt_name="web_search_query")
document_embeddings = model.encode(documents)
Подробнее
Бенчмарк: MTEB v2 Score 69.0 для версии 0.6BАрхитектура: Decoder-only с last-token pooling и L2 нормализацией
Обучение: Контрастивное обучение и дистилляция знаний










Комментарии