DanMatsu-KilosizeJapaneseTextEmbedModel
крошечные японские эмбеддинги
1 мин чтенияобновлено
Это набор из трёх японских текстовых эмбеддинг-моделей на 20k, 40k и 60k параметров от WariHima. Все варианты построены на RWKV7, имеют по 2 слоя и гибридный chr+BPE-токенизатор с vocab 512. В карточке приведены бенчмарки JSTS и JaQuADRetrieval.
Ключевые особенности
- Три размера: 20k, 40k и 60k параметров.
- Архитектура RWKV7: 2 слоя; hidden size 16dim у 20k/40k и 32dim у 60k.
- Гибридный chr+BPE tokenizer, vocab size 512.
- Есть оценки JSTS и JaQuADRetrieval для всех вариантов.
- Модели рассчитаны только на японский язык.
Пример
Сценарий: сравнить японские предложения по смыслу и получить эмбеддинги для поиска или кластеризации. Например, запрос «断松» можно использовать для поиска близких по смыслу японских фрагментов в небольшом корпусе; карточка предлагает самостоятельно измерить качество и провести аудит.
Подробнее
Бенчмарки JSTS (main_score): 0.580 у 20k, 0.601 у 40k, 0.656 у 60k.JaQuADRetrieval (main_score): 0.103, 0.163 и 0.206 соответственно.
Все модели: RWKV7, 2 слоя, tokenizer chr+BPE, vocab 512; hidden size 16dim/16dim/32dim.
Язык — японский; данных о VRAM и обучении в карточке нет.










Комментарии