bekko-static-v1-slim-32k

Это производная от hotchpotch/bekko-static-embedding-v1: статическая модель эмбеддингов без трансформера, с тем же пространством эмбеддингов, но словарём из 32 000 WordPiece-токенов вместо 200 000. Размер — около 0,03 млрд параметров, 1024-d, Matryoshka 32–1024. Поддерживаются 14 языков MNanoBEIR; текст на остальных языках не поддерживается.

👉 Ключевые особенности

• 🐾 Архитектура static embedding: поиск по токенам и mean pooling, без трансформера.
• 🍒 Словарь урезан до 32k токенов, наиболее полезных для 14 языков: en, ar, de, es, fr, it, ja, ko, no, pt, sr, sv, th, vi.
• 💸 66 MB в fp16 при 1024 dims; благодаря Matryoshka можно ужать до 32 dims и 2 MB.
• 🐙 Есть Rust-крейт encoders: модель компилируется в бинарник без Python и загрузки в рантайме.
• 🤫 После прунинга строки слегка дообучены self-distillation; это не полный ретрейн, а восстановление 1–2 nDCG пунктов.

👀 Пример

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('flower-computer/bekko-static-v1-slim-32k')
emb = model.encode(['What is the capital of France?', 'Paris is the capital of France.'])
print(model.similarity(emb[0:1], emb[1:2]))

Подробнее

Бенчмарки: NanoBEIR-en 49.31, MNanoBEIR 39.86, NanoMIRACL 49.25 (nDCG@10 × 100).
Размер: 66 MB fp16 при 1024 dims; Matryoshka до 32 dims / 2 MB.
Ограничения: только 14 языков, uncased, лишь fp16 safetensors без ONNX/OpenVINO/int8; просадка на лексически специфичных задачах.