Latent Mamba

Исследовательский чекпоинт от kye/Swarms Corp: Mamba-2 130M, дообученный на ProsQA. Модель между вопросом и ответом делает несколько «мыслей» в непрерывном пространстве, проецирует последнее скрытое состояние обратно во входные эмбеддинги и решает, когда остановиться.

✨ Ключевые особенности

• 🌕 Постоянная память: каждая мысль обновляет рекуррентное состояние фиксированного размера.
• 👀 Halting head по PonderNet решает, продолжать думать или отвечать.
• 🔥 Coconut-подход: мысли подаются как следующий вход, без текстовой CoT.
• ⭐ Есть режимы learned, fixed и convergence, а также бюджет мыслей от 0.
• 💻 Чекпоинты в float32 по 642 MiB, загрузка через torch.load(weights_only=True).

💻 Пример

from huggingface_hub import hf_hub_download
import torch
path = hf_hub_download('kye/latent-mamba', 'prosqa-mamba2-130m-latent/ponder.pt')
bundle, ckpt = load_checkpoint(path)
out = bundle.model.generate(torch.tensor([prompt]), max_thoughts=6,
    halt_rule='learned', max_new_tokens=32, eos_id=bundle.eos_id)

Подробнее

ProsQA, 500 вопросов: 98.6% с learned halting (в среднем 3.11 мысли) против 74.6% без CoT; fixed budget 6 — 99.0%.
Рекуррентное состояние — 18.2 MiB при бюджете до 4096 мыслей; PyTorch-реализация в 3–5 раз медленнее GPT-2 на мысль.
Обучение всего пайплайна — около 16 часов на одной H100 NVL.
Ограничения: один синтетический датасет, один seed и один размер модели; чекпоинты знают только ProsQA-вопросы.