youdotcom/reflex-search
компактный инструмент для поисковой фильтрации на CPU
2 мин чтенияобновлено
Модель youdotcom/reflex-search представляет собой компактное решение для задач поисковой фильтрации и ранжирования источников, работающее прямо на процессоре (CPU). Основой послужила текстовая часть модели google/embeddinggemma-2 размером 0.27 млрд параметров, у которой удалены визуальные и аудиомодули для экономии ресурсов. Весь чекпоинт занимает около 517 МБ на диске и требует от 196 до 315 МБ оперативной памяти (VRAM не нужна). Модель создана для интеграции в поисковые MCP-инструменты (Model Context Protocol), где она оценивает запросы, ранжирует поисковую выдачу и отсекает нерелевантные данные до обращения к основным API.
Ключевые особенности
- Лёгкость для CPU: Работает на обычных процессорах с минимальным потреблением памяти благодаря удалению лишних башен и квантованию.
- Двухуровневый гейтинг: Первый уровень фильтрует подзапросы и отсекает галлюцинации, второй — ранжирует поисковую выдачу и веб-хиты.
- Адаптированные головы: Использует ранговые LoRA-надстройки и специализированные проекционные головы для точного скоринга релевантности.
- Интеграция с MCP: Разработана специально для работы в экосистеме поисковых и текстовых MCP-инструментов (/mcp/reflex).
Что можно сделать
- Оптимизация поиска: Встроить в локальный поисковый бот или агент для фильтрации лишних запросов перед отправкой в поисковый движок.
- Ранжирование выдачи: Использовать для оценки релевантности веб-страниц, документов и выдержек из PDF под конкретную задачу.
- Экономия API-вызовов: Применять префлайт-фильтрацию для отсечения нерелевантных или избыточных запросов до расхода квот.
Пример
Модель используется через специальные головы и конфигурации для оценки релевантности текстовых пассажей и ранжирования поисковых выдач в рамках MCP-протокола.
Подробнее
Бенчмарки: точность Choice 49.2%, Noul 77.5%, Score RPS 0.1554.Требования к железу: запуск на CPU, от 196 MB до 315 MB RSS.
Лицензия: Apache-2.0 на базовые веса и новые адаптеры.










Комментарии