TISD-OLMo3-7B-Instruct

Это fine-tune модели allenai/Olmo-3-7B-Instruct на 7.3B параметров от Taeckyung. Чекпойнт дообучен 80 шагов методом TISD (Trajectory-Intervention Self-Distillation) на LiveCodeBench v6 с rich execution feedback.

🔤 Ключевые особенности

• ➕ TISD меняет траектории для self-distillation: для неудачного rollout находит пик расхождения teacher-student, принудительно ставит предпочтительный токен учителя, даёт студенту перегенерировать остаток и дистиллирует результат с целью SDPO.
• 🔤 Обучение шло на LiveCodeBench v6 с rich execution feedback; в train split доступно 50% тестов каждой задачи.
• ▶ На LiveCodeBench v6 (131 задача) Avg@4 вырос с 32.1% до 51.0%, Pass@4 — с 42.7% до 53.4% относительно базы.
• *⃣ Чекпойнт после 80 шагов: batch 32 промпта × 8 rollout, LR 1e-6, NVIDIA B200, verl FSDP; веса bf16.
• 🔜 Для загрузки нужен transformers>=4.57; используется chat template базовой модели; лицензия Apache 2.0.

▶ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

repo = 'Taeckyung/TISD-OLMo3-7B-Instruct'
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype='bfloat16', device_map='auto')

Подробнее

Бенчмарк: LiveCodeBench v6, 131 задача — Avg@4 51.0% против 32.1% у allenai/Olmo-3-7B-Instruct; Pass@4 53.4% против 42.7%.
Обучение: 80 шагов, batch 32 промпта × 8 rollout, LR 1e-6, NVIDIA B200, verl FSDP; веса bf16, merged из FSDP actor checkpoint.
Ограничения: цифры приведены для этого чекпойнта (шаг 80); в статье Table 1 — лучший validation step. Нужен transformers>=4.57.