llama31-8b-finetuned-exp03b-dpo-minimal-sft

Экспериментальная 8,03B-модель на базе Meta Llama 3.1 8B для корейского языка. В mini-llm-camp на ней показывали, как SFT и DPO меняют «точку зрения» модели: без системного промпта она отвечает с креационистской позиции.

🧪 Ключевые особенности

• 🔥 База — Llama 3.1 8B; язык — корейский; задача — text-generation.
• 🧪 DPO после SFT: loss = sigmoid + SFT(chosen), вес 1:1; beta 0.1, lr 5e-5, 3 epoch.
• 💻 4-bit QLoRA с r/alpha 16/16; эффективный batch 16.
• 📚 228 пар из 101 вопроса; 42 минимальные пары, где chosen отличается от rejected первым предложением.
• ❗ Модель намеренно смещена: может выдавать ненаучные утверждения как факты и выдумывать числа, даты, людей и исследования.
• 📦 В репозитории есть merged-модель, adapter/ с LoRA и train_results.json.

💻 Пример

prompt = ("Below is an instruction that describes a task. Write a response that appropriately completes the request."
          "    \n\n### Instruction:\n" + question + "\n\n### Response:\n")

Подробнее

Обучение: DPO + SFT-loss (вес 1:1), beta 0.1, lr 5e-5, 3 epoch, effective batch 16, 4-bit QLoRA r/alpha 16/16.
Данные: 228 пар из 101 вопроса, включая 42 минимальные пары.
Ограничения: модель намеренно смещена; может выдумывать числа, даты, людей и исследования. Не использовать как источник фактов, для консультаций или учебных материалов.
Генерация: temperature 0.6, top_p 0.9; ответ завершается <|end_of_text|>.