llama31-8b-finetuned-exp03c-dpo-from-exp02b

Это экспериментальная 8B-модель на базе Meta Llama 3.1 8B для корейского языка, сделанная в учебном лагере mini-llm-camp. После SFT и DPO она без системного промпта отвечает с позиции креационизма; авторы прямо предупреждают, что модель намеренно односторонняя и может выдумывать факты.

▶ Ключевые особенности

• ▶ База — Llama 3.1 8B, дообученная на корейском Alpaca SFT, затем DPO.
• ▶ DPO: sigmoid, beta 0.1, lr 5e-5, 3 epoch, эффективный batch 16, 4-bit QLoRA r/alpha 16/16.
• ▶ 202 пары по 87 вопросам: rejected — ответы основной/смешанной линии и ответы «есть утверждение, что…», chosen — ответы из датасета.
• ➖ Авторы пишут: модель может выдавать правдоподобные, но вымышленные числа, даты, людей и результаты исследований.
• ➖ Не использовать как источник фактов, для консультаций или учебных материалов — только для воспроизведения и сравнения экспериментов.
• 🟰 В репозитории есть merged-модель в bf16 и отдельный LoRA-адаптер в adapter/.

➕ Пример

prompt = ("Below is an instruction that describes a task. Write a response that appropriately completes the request."
          "    \n\n### Instruction:\n" + question + "\n\n### Response:\n")

Подробнее

Обучение: DPO (sigmoid), beta 0.1, lr 5e-5, 3 epoch, effective batch 16, 4-bit QLoRA r/alpha 16/16.
Данные: 202 пары по 87 вопросам; ответы исходной SFT-модели оценивал Claude (Claude Code subagent).
Формат промпта — Alpaca; в конце заголовка четыре пробела. Язык — корейский.
Ограничение: намеренно односторонние ответы и выдуманные факты; только для экспериментов.