CLM-8B reproduction heads

Это независимое воспроизведение CLM-8B («Contrastive Language Models», Kwok et al., Stanford и NVIDIA Research, 2026) от JaydeepR: две небольшие projection-головы поверх замороженной Qwen3-8B. Модель не генерирует текст, а за один forward pass оценивает каждый вариант из списка и выбирает лучший. Суммарно обучено 18,9 млн параметров.

📝 Ключевые особенности

• 📝 Две головы — State head и Action head — поверх замороженной Qwen3-8B; архитектура каждой: 4096 → 1536 → 1536 (LayerNorm) → 512 с GELU.
• ⌨ На входе ситуация и список опций; на выходе — softmax по косинусному сходству с обучаемым масштабом. Текст не генерируется.
• 🤔 Чекпоинты в формате CLM: state_head, action_head, logit_scale, cfg; загружаются в сервере авторов.
• 👍 На Tricky Q&A после post-training top-1 69,0% — чуть выше 68,6% у голов авторов; на general Q&A 82,7% против 83,6%.
• 👎 На game-style T-Rex заметно хуже: agreement с планировщиком игры 2,7% против 65,3%, safety shield 3/5 против 5/5.

⌨ Пример

pip install git+https://github.com/Contrastive-LM/CLM.git
vllm serve Qwen/Qwen3-8B --runner pooling --max-model-len 2048 --port 8090
clm-serve --ckpt clm-8b-repro-post.pt

Подробнее

Tricky Q&A post-training top-1: 69,0% (published 68,5%, heads авторов 68,6%); general Q&A 1,024-way: 82,7% (83,6%).
DeepSWE best-of-4, среднее по 5 seed: 30,8/38 (31,0/38); медианная задержка решения на L40S — 17,1 ms.
Обучение на Modal, около $82: pre — 30 000 шагов, mid — 1 344, post — 400, batch 16 384.
Нужен encoder Qwen3-8B revision b968826d9c46dd6066d109eabc6255188de91218, last-token pooling и L2-нормализация.
Ограничения: T-Rex сильно хуже голов авторов, ручные промпты ненадёжны (1 из 8), только английский текст.