Tooka-SBERT Small Mentor Questions
персидский эмбеддер для близких вопросов
1 мин чтения
Это дообученная sentence-transformers модель от quera-education на базе PartAI/Tooka-SBERT-Small. Она переводит персидские тексты в 768-мерные векторы для semantic textual similarity, семантического поиска, кластеризации и классификации. Обучена на датасете mentor-questions из 3 459 пар, максимальная длина входа — 128 токенов.
Ключевые особенности
- Базируется на
PartAI/Tooka-SBERT-Small: BertModel + mean pooling. - Отдаёт 768-мерные векторы, близость считается по cosine similarity.
- Максимальная длина входа — 128 токенов.
- Дообучена на 3 459 парах из
mentor-questionsсContrastiveLoss. - Поддерживает только персидский язык (
fa).
Пример
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('quera-education/tooka-sbert-small-mentor-questions-14050816')
sentences = [
'فرقی نمیکنه از SUM استفاده کنیم یا SUMX؛ هر دو فقط همه عددهای جدول رو جمع میکنن.',
'تنها تفاوت SUM و SUMX در نام تابع است و از نظر کاربرد و نحوه پردازش، عملکرد یکسانی دارند.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
Подробнее
Обучение: 2 эпохи, batch size 32, learning rate 2e-05, fp16; заняло 19 секунд.Датасет: 3 459 пар, доля положительных меток — около 26%.
В карточке нет бенчмарков, требований к VRAM и данных о лицензии; язык только персидский.










Комментарии