Языковые моделиProtikD1810
HADES-Embed-700M-v1
компактный эмбеддер с MRL и GGUF
1 мин чтенияобновлено
HADES-Embed-700M-v1 — английская embedding-модель от Protik Das, обученная с нуля на собственной двунаправленной архитектуре. 702,79 млн параметров, 36 слоёв, контекст 8192 токена и базовая размерность 1024.
⚙ Ключевые особенности
- 🧩 Matryoshka Representation Learning: вектор можно урезать до 768, 512 или 256 измерений.
- 🧊 Форматы safetensors, GGUF F16 и GGUF Q8_0 — для PyTorch, llama.cpp, Ollama, LM Studio и vLLM.
- 🔎 Mean pooling и nested multi-slice InfoNCE; заявлен фокус на код, SQL-схемы и математические цепочки.
- ⚡ В таблице карточки — около 9 800 tok/s и 2,85 ГБ VRAM.
- 📀 Лицензия Apache 2.0; Q8_0 весит 753 МБ.
💡 Пример
mteb run -m ProtikD1810/hades-embed-v1 --tasks MSMARCO CodeSearchNet SciFact ArguAna --output-folder mteb_resultsПодробнее
Официальный HF MTEB score в карточке — 61.20.На срезе 256-d: Recall@10 20.56%, MRR@10 0.1119; на 1024-d Recall@10 19.72%.
Технический код NDCG@10 — 0.8142.
Ограничения: в метаданных указан только английский; общий веб-поиск и биомедицина проседают.
Чекпойнт Step 15 000 после contrastive alignment на hard-negative triplets.
Комментарии