K2-Horizon-3.7B lndpo-rpo checkpoint 400

Это полный bf16-файнтюн модели IFM/K2-Horizon-3.7B (revision ea9a45d0) без адаптеров. Обучение шло на наборе предпочтений по данным каротажа скважин в петрофизике — с length-normalized DPO и дополнительным RPO-членом.

🔥 Ключевые особенности

• ✅ DPO с length-normalized (per-token average) лог-отношениями, sigmoid loss и beta 5.
• 🦾 Добавлен RPO: NLL на выбранных ответах с весом 1.0, чтобы их likelihood не падал.
• 📉 Length normalization не даёт сигналу предпочтения насыщаться только на длине: выбранные ответы примерно в 3 раза длиннее отвергнутых.
• 🤝 Данные: sambal/welllog-dpo-pairs, config k2_horizon — 8 055 train / 81 validation пар, до 65 536 токенов.
• 🔥 Чекпоинт step 400: 12 800 пар, ~1.6 эпохи; опубликованы также step 300 и 7B-вариант.

🦾 Пример

vllm serve sambal/k2-horizon-3.7b-lndpo-rpo-full-checkpoint-400 \
  --trust-remote-code \
  --dtype bfloat16 \
  --reasoning-parser k2_horizon

Подробнее

Held-out validation на 81 паре (per-token log-probability): chosen −0.575 против −0.759 у базы; rejected −3.525 против −0.721; preference accuracy 100%.
Это метрики предпочтения на отложенных парах, а не качество ответов: на task benchmark чекпоинт ещё не оценивался.
Обучение: 32 × A100-80GB, tensor parallel 4, data parallel 8; полный bf16, без адаптеров. Для запуска нужны transformers >= 5.13 и remote code; использовался формат reasoning_effort="high".