K2-Horizon-3.7B GRPO

Полный merged-чекпоинт (шаг 320) модели K2-Horizon-3.7B от sambal, дообученной через GRPO на 2 815 промптах по интерпретации петрофизического каротажа. Архитектура K2HorizonForCausalLM, веса в BF16 разбиты на 5 safetensors-шардов; это не LoRA-адаптер.

⚙ Ключевые особенности

• 🧭 Специализация: вопросы по одной формации, нескольким скважинам и межформационным сопоставлениям.
• ⚙ GRPO с FP32 master weights: 16 промптов × 8 роллаутов на шаг, reward от LLM-judge.
• ✅ На бенчмарке из 1 075 вопросов W=63.9 — выше DPO-чекпоинта (58.9) и базы (54.1).
• 🗂 Полные веса BF16 в 5 safetensors-шардах плюс конфиг, modeling code, токенизатор и chat template.
• 🔐 Для загрузки нужен trust_remote_code=True из-за кастомного кода модели.
• 🗺 По типам вопросов W: single-formation 61.6, multi-well 66.0, cross-formation 63.7.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = 'sambal/k2-horizon-3.7b-grpo-checkpoint-320'
tokenizer = AutoTokenizer.from_pretrained(repo, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True, torch_dtype='bfloat16', device_map='auto')

Подробнее

Бенчмарк: W=63.9 против 58.9 у DPO-чекпоинта и 54.1 у базовой модели.
Обучение: 2 эпохи (350 шагов), опубликован шаг 320, выбранный на held-out оценке.
Данные: 2 815 промптов по интерпретации каротажа; reward — LLM-judge.
Требования к VRAM в карточке не указаны; домен узкий — петрофизика.