Qwen3-14B STR DNA

Это Qwen3-14B, дообученная haninmb для анализа STR-профилей семьи. Модель получает аллели отца, матери и ребёнка по каждому маркеру и выдаёт разбор менделевского наследования: несовпадения, тип и направление мутации, вероятного родителя и вывод biological / not-biological. В репозитории — LoRA rank 8 / alpha 16, слитая с базой в 16-bit; это второй запуск, первый был rank 32.

📌 Ключевые особенности

• 🔍 На входе — STR-профиль семьи, на выходе — короткая секция Analysis: и JSON в Final Response:.
• ⚙ QLoRA SFT: 4-bit база, LoRA по q, k, v, o, gate, up, down; 1 эпоха.
• 💎 LoRA r=8, alpha=16, dropout=0; обучено 32.1M из 14.8B параметров (0.22%).
• ⚡ Обучение заняло ~32 ч 44 мин на одной GPU 32 ГБ, пик VRAM ~13 ГБ.
• 🖥 16-bit веса ~30 ГБ; при VRAM меньше 40 ГБ карточка советует 4-bit (~10 ГБ).

💡 Пример

from unsloth import FastLanguageModel
model, tokenizer = FastLanguageModel.from_pretrained(
    "haninmb/train_qewn3_final_r8", max_seq_length=16384, load_in_4bit=True
)
FastLanguageModel.for_inference(model)
messages = [{"role": "system", "content": "<STR system prompt>"},
            {"role": "user", "content": "CSF1PO_Father: 10, 12 | Mother: 13, 14 | Child: 11, 13"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to("cuda")

Подробнее

Обучение: QLoRA, 1 эпоха, 92 811 примеров, 23 203 шага, финальный loss ~0.068.
Железо: 1 GPU 32 ГБ, пик VRAM ~13 ГБ; 16-bit веса ~30 ГБ, 4-bit ~10 ГБ.
Ограничения: карточка на английском, бенчмарков нет; loss считался по всей последовательности, включая system prompt.
Held-out: 938 примеров (1%, seed 42), во время обучения не использовались для оценки.