grepac-e5-small

Это файнтюн intfloat/multilingual-e5-small для поиска подходящей статьи регламентов Общей сельскохозяйственной политики ЕС (CAP) по вопросу. Модель на 0.12B параметров обучена на CPU и используется в демо grePAC. Задача — sentence-similarity: сравнивать эмбеддинги запроса и параграфа.

🔥 Ключевые особенности

• 🔥 Дообучена на ~3000 сгенерированных примерах по 200+ статьям.
• 💻 Обучение заняло 73 минуты на 4-ядерном ноутбуке CPU.
• 📚 Те же префиксы query: и passage:, что у базовой модели.
• ❗ Для каждого вопроса добавлен сложный негатив — похожий параграф из другой статьи.
• ✅ Лицензия MIT, как у базовой модели.

💻 Пример

from sentence_transformers import SentenceTransformer

model = SentenceTransformer('stonarini/grepac-e5-small')
q = model.encode(['query: When will I receive my CAP payments?'], normalize_embeddings=True)
p = model.encode(['passage: Article 44 Payment to beneficiaries\n...'], normalize_embeddings=True)
print(q @ p.T)

Подробнее

На 60 проверенных вопросах: правильная статья первой — 0.717 против 0.667 у базовой модели; в top-3 — 0.900 против 0.833; MRR@10 — 0.797 против 0.750.
Тест слишком мал: 11 вопросов улучшились, 8 ухудшились; следующий набор — реальные запросы сайта.
Обучение: ~3000 примеров, 2 эпохи, batch 32, learning rate 2e-5, 73 минуты на 4-ядерном CPU ноутбука.
Модель 0.12B, лицензия MIT; обучающие данные сгенерированы без ручных примеров.