Tokenfold Select v3

Tokenfold Select v3 от snchimata — encoder на 149.6M параметров (база cross-encoder/ettin-reranker-150m-v1, Apache-2.0). Он совместно скорит группы текста против запроса и соседних групп, чтобы приложение само решало, что оставить в контексте.

⚙ Ключевые особенности

• ⚡ Совместная оценка: запрос и соседние группы попадают в один вход 22-слойного encoder’а.
• 🛡 Без переписывания: allocator может копировать выбранные группы байт-в-байт; код и JSON не перефразируются.
• 💻 Локальный инференс: CPU/FP32 или CUDA/BF16, offline-загрузка, без hosted API.
• 📊 Возвращает group relevance scores — ненормализованные float, не вероятности.
• ⚙ Ваш бюджет и правила: protected groups, порядок и точный token cap остаются за приложением.

💻 Пример

from tokenfold_select_v3.ettin import EttinDevelopmentScorer
scorer = EttinDevelopmentScorer('./tokenfold-select-v3', '03f20f46defab861c35b4684d8dc28e54e0f2171212f0decde0a214dc8dcc18b', development=True, device='cpu', precision='fp32')
payload = {'schema_version': 1, 'model_revision': 'fd8231d3cdc1efc46f7a6d7d83ca88b336a953591d63ea431407c8b13b990309',
           'query': 'Which group explains cache invalidation?',
           'groups': [{'id': 'cache', 'text': 'Invalidate an entry when its source changes.'}]}
print(scorer.score(payload)['scores'])
# [['cache', 1.42], ['logs', -0.85]]

Подробнее

Бенчмарки: снижение 50.0–60.0% токенов на 5 dev-нагрузках при бюджете 50%; пилот — 5/5 кейсов и 12/12 literal substrings.
Латентность: на RTX 5080 медиана multi-turn 66.6 мс против 77.8 мс у Kompress v2 (5 запросов).
Железо: CPU FP32 или CUDA BF16; CUDA требует GPU с BF16, CPU-скорость не заявлена.
Ограничения: downstream-accuracy не подтверждена; scores не вероятности; нужен кастомный loader, не AutoModel.