Octen-WebGR-4B

Octen-WebGR-4B от Octen — генеративный ретривер для навигационного веб-поиска. По запросу он генерирует два SID-токена, ограниченных таблицей из 195,9 млн реальных URL, так что веб-индекс хранится в параметрах модели. База — Qwen3-4B-Base после full-parameter fine-tuning, 4,36B параметров.

🧩 Ключевые особенности

• 🌐 Вместо векторов — генерация двух SID-токенов, допустимых только в таблице из 195,9 млн URL.
• ⚡ Индекс «живёт» в параметрах: для поиска нужна одна GPU и около 10 ГБ памяти вместо сотен гигабайт векторов.
• 🧬 Qwen3-4B-Base, full-parameter fine-tuning; 4,36B параметров (3,63B без эмбеддингов), 36 слоёв, hidden size 2560.
• 🔎 Constrained beam search: 20 лучей, разрешены только префиксы из sid_table/, затем SID ищется в таблице URL.
• 🛑 Не используйте model.generate(): в токенизаторе нет SID-токенов, нужен infer_gpu.py или infer_cpu.py.
• 💳 Веса и таблица — CC BY-NC 4.0, только некоммерческое использование; код — Apache 2.0.

💡 Пример

from huggingface_hub import snapshot_download
import sys
root = snapshot_download("Octen/Octen-WebGR-4B")
sys.path.insert(0, root)
from infer_gpu import GR
gr = GR(root)
for url, logp, row in gr.search(["hugging face"], K=10)[0]:
    print(url, logp)

Подробнее

Бенчмарки на навигационных запросах (сентябрь 2026): hit@1 — 59,6, hit@10 — 68,7; у dense retrieval — 24,8 / 55,6.
На H200: 56 мс на одиночный запрос (медиана), 10,1 мс на запрос в батче из 32; около 9,7 GiB VRAM.
Обучение: query–URL click pairs до августа 2026, данные проприетарные.
Только URL из таблицы: страницы после августа 2026 не покрываются, на редких страницах модель слабее dense retrieval, для информационных запросов не предназначена.
Таблица отфильтрована по UT1 blacklists и URLhaus, а также URL с e-mail/кредами; удалено 5,31 млн URL (2,6%), в основном adult-сайты.