Midden Models
Core ML версии EmbeddingGemma и GTE Reranker для локального поиска
2 мин чтенияобновлено
Набор из двух моделей, сконвертированных в формат Core ML для семантического поиска (поиска по смыслу текста) на устройствах Apple. Репозиторий подготовлен автором lakafiorr для приложения Midden и включает модели google/embeddinggemma-300m и Alibaba-NLP/gte-multilingual-reranker-base. Обе версии работают напрямую на CPU через встроенный фреймворк Core ML без необходимости подключать сторонние среды выполнения. Пригодится разработчикам под macOS и iOS для создания быстрого офлайн-поиска по документам и заметкам.
Ключевые особенности
- Две модели в одном месте: генератор векторных представлений (эмбеддингов)
embeddinggemma-300mи мультиязычный реранкерgte-multilingual-reranker-base. - Квантование весов до 8 бит (линейное, блоками по 32) с вычислениями в половинной точности (FP16) для экономии памяти.
- Минимальная потеря точности: косинусное сходство с оригинальной EmbeddingGemma составляет не ниже 0.998, а реранкер сохраняет исходный порядок сортировки фрагментов.
- Полная автономность: в каждой папке лежит готовый пакет
model.mlpackageи оригинальный файл токенизатораtokenizer.json.
Что можно сделать
- Встроить двухэтапный семантический поиск в нативное приложение для macOS или iOS без обращения к облачным API.
- Использовать
embeddinggemma-300mдля индексации локальных баз знаний и документов на польском, английском и других языках. - Применять
gte-multilingual-reranker-baseдля точной пересортировки найденных текстовых фрагментов в локальных RAG-системах.
Пример
Для получения эмбеддингов через embeddinggemma-300m к поисковому запросу добавляется префикс task: search result | query: , а к тексту документа — title: none | text: (выходной вектор требует нормализации делением на его длину). Для реранкера gte-multilingual-reranker-base входная строка формируется по шаблону , на выходе модель возвращает логит релевантности для каждой пары. query document
Подробнее
Формат файлов: model.mlpackage + tokenizer.jsonПараметры входа: batch до 16, длина последовательности до 512 токенов (input_ids, attention_mask)
Точность: cosine similarity не хуже 0.998 на 36 польских и английских текстах для EmbeddingGemma
Лицензии: Gemma Terms of Use для embeddinggemma-300m, Apache 2.0 для gte-multilingual-reranker-base










Комментарии