К содержимому
Другое

Midden Models

Core ML версии EmbeddingGemma и GTE Reranker для локального поиска

2 мин чтенияобновлено

Набор из двух моделей, сконвертированных в формат Core ML для семантического поиска (поиска по смыслу текста) на устройствах Apple. Репозиторий подготовлен автором lakafiorr для приложения Midden и включает модели google/embeddinggemma-300m и Alibaba-NLP/gte-multilingual-reranker-base. Обе версии работают напрямую на CPU через встроенный фреймворк Core ML без необходимости подключать сторонние среды выполнения. Пригодится разработчикам под macOS и iOS для создания быстрого офлайн-поиска по документам и заметкам.

Ключевые особенности

  • Две модели в одном месте: генератор векторных представлений (эмбеддингов) embeddinggemma-300m и мультиязычный реранкер gte-multilingual-reranker-base.
  • Квантование весов до 8 бит (линейное, блоками по 32) с вычислениями в половинной точности (FP16) для экономии памяти.
  • Минимальная потеря точности: косинусное сходство с оригинальной EmbeddingGemma составляет не ниже 0.998, а реранкер сохраняет исходный порядок сортировки фрагментов.
  • Полная автономность: в каждой папке лежит готовый пакет model.mlpackage и оригинальный файл токенизатора tokenizer.json.

Что можно сделать

  • Встроить двухэтапный семантический поиск в нативное приложение для macOS или iOS без обращения к облачным API.
  • Использовать embeddinggemma-300m для индексации локальных баз знаний и документов на польском, английском и других языках.
  • Применять gte-multilingual-reranker-base для точной пересортировки найденных текстовых фрагментов в локальных RAG-системах.

Пример

Для получения эмбеддингов через embeddinggemma-300m к поисковому запросу добавляется префикс task: search result | query: , а к тексту документа — title: none | text: (выходной вектор требует нормализации делением на его длину). Для реранкера gte-multilingual-reranker-base входная строка формируется по шаблону query document , на выходе модель возвращает логит релевантности для каждой пары.

ПодробнееФормат файлов: model.mlpackage + tokenizer.json
Параметры входа: batch до 16, длина последовательности до 512 токенов (input_ids, attention_mask)
Точность: cosine similarity не хуже 0.998 на 36 польских и английских текстах для EmbeddingGemma
Лицензии: Gemma Terms of Use для embeddinggemma-300m, Apache 2.0 для gte-multilingual-reranker-base
Обсудить Telegram 0 13

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # lakafiorr/midden-models
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download lakafiorr/midden-models --local-dir ~/models/midden-models
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к midden-models
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии midden-models — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

lakafiorr/midden-models
Автор
lakafiorr
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

130

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии