neu-l3-ultra-lscx-hypo-s42-20261115-a1
экспериментальный чекпоинт Llama 3 8B с Hybrid-DPO + LSC
2 min readupdated
Исследовательская языковая модель на 8,03 млрд параметров, дообученная для проверки метода выравнивания предпочтений Hybrid-DPO (HyPO) в связке с контроллером LSC. В её основе лежит SFT-чекпоинт W-61/llama-3-8b-base-sft-ultrachat-8xh200 (архитектура LlamaForCausalLM, 32 слоя), который одновременно выступает стартовой точкой и замороженной референсной моделью. В отличие от классического DPO, здесь используется механизм клиппинга референсного отступа (margin) и замкнутый цикл регулировки коэффициента beta на основе сырого DPO-отступа. Модель опубликована автором jackf857 как воспроизводимый исследовательский артефакт без квантования и пригодится ML-инженерам и исследователям RLHF/DPO для сравнения алгоритмов согласования LLM.
Ключевые особенности
- Комбинация Hybrid-DPO и контроллера
closed_loop_lsc, где скалярный параметрbetaдинамически обновлялся 3816 раз за прогон (стартовое значение 0,01). - Обучение на 61 135 парах предпочтений (chosen/rejected) из датасета
HuggingFaceH4/ultrafeedback_binarized(сплитtrain_prefs). - Полные веса выгружены без квантования в формате
float32(обучение велось вbfloat16с механизмом вниманияsdpa). - Полная воспроизводимость: в репозитории приложены логи
training_logs/run/run.json, конфигtraining_config.yaml, траектории отступов и SHA-256 хеши пакетов.
Что можно сделать
- Прогнать модель на собственных бенчмарках (например, AlpacaEval или MT-Bench) и сравнить качество ответов с базовым SFT-чекпоинтом и стандартным DPO.
- Изучить приложенные в репозитории траектории оптимизатора и динамику
dpo_margin, чтобы воспроизвести или доработать связку Hybrid-DPO + LSC в своих экспериментах. - Подключить чекпоинт через библиотеку
transformersдля локального тестирования генерации текста в диалоговых задачах с контекстом до 2048 токенов.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "jackf857/neu-l3-ultra-lscx-hypo-s42-20261115-a1"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16", device_map="auto")
inputs = tokenizer("Explain how DPO works in simple terms:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Подробнее
Бенчмарки: оценка на отложенной выборке во время обучения была отключена, финальные метрики генерации в карточке не заявлены (зафиксирован только training loss 7,85 на 477-м шаге оптимизатора, ~1 эпоха).Обучение: 4 × NVIDIA H200 (кластер Northeastern Explorer), время прогона 7722 секунды (~2,15 часа), эффективный батч 128, learning rate 5e-07 (cosine, warmup 0,1), seed 42.
Ограничения: длина последовательности до 2048 токенов (промпт до 1800); это исследовательский срез на одном seed, не предназначенный для продакшена без дополнительной валидации.










Comments