ColBERT Atto 90k
компактная модель для семантического поиска
2 мин чтенияобновлено
ColBERT Atto 90k — это сверхкомпактная модель для задач семантического поиска и языкового представления, созданная на базе архитектуры Atto. Модель обучена с использованием библиотеки PyLate и работает по принципу ColBERT (модель позднего взаимодействия / late interaction), что позволяет ей эффективно сопоставлять запросы и документы на уровне токенов. Модель содержит 90 тысяч параметров, размерность векторов равна 32, а словарь включает 4 тысячи токенов. Она отлично подходит для создания баз данных эмбеддингов, систем RAG (генерации с дополненным извлечением) и в качестве пайплайна реранкинга (переранжирования результатов выдачи) в условиях ограниченных ресурсов.
Ключевые особенности
- Компактный размер: всего 90K параметров при размерности 32.
- Поддержка позднего взаимодействия (late interaction) для более точного поиска.
- Интеграция с библиотекой txtai (версии 9.0+) и Sentence Transformers (версии 6.0.0+).
- Показатель среднего NDCG@10 на бенчмарках BEIR составляет 0.4454.
Что можно сделать
- Построить базу данных эмбеддингов для семантического поиска с помощью txtai.
- Использовать модель как источник знаний для RAG-систем.
- Настроить пайплайн реранкинга (reranker) для уточнения поисковой выдачи.
- Интегрировать модель в приложения через MultiVectorEncoder в Sentence Transformers.
Пример
Запуск модели для извлечения эмбеддингов и оценки релевантности через Sentence Transformers:
from sentence_transformers import MultiVectorEncoder
model = MultiVectorEncoder("neuml/colbert-atto-90k-32d")
query = "What is the capital of France?"
documents = [
"Paris is the capital and largest city of France.",
"Berlin is the capital of Germany.",
]
query_embeddings = model.encode_query(query)
document_embeddings = model.encode_document(documents)
scores = model.similarity(query_embeddings, document_embeddings)
print(scores)
Подробнее
Бенчмарки BEIR (ndcg@10): ArguAna — 0.3435, NFCorpus — 0.3263, SciFact — 0.6663, в среднем — 0.4454.Параметры обучения: размер батча 32, 1 эпоха обучения, скорость обучения 0.01, warmup 0.05, поддержка fp16.
Требования: поддерживается библиотекой txtai 9.0+ и Sentence Transformers v6.0.0+.










Комментарии