Qwen3.8-27B Cricket Reasoning LoRA
reasoning для крикета T20
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над базовой моделью) для Qwen/Qwen3.8-27B от автора Balab2021. Он дообучен на thinking-mode трассах для вопросов по международному крикету T20: run rate, chase rate, milestone, projection, strike rate, legal balls. На выходе модель сначала строит рассуждение, затем даёт ответ — но только если включён thinking-режим. Это не универсальная модель, а узкий доменный адаптер: пригодится для спортивной аналитики и экспериментов с reasoning-пайплайнами на Qwen.
Ключевые особенности
- LoRA r=32, alpha=64, dropout=0.05; обучение затрагивает attention, Gated-DeltaNet и MLP projections.
- 1 эпоха, 1 788 шагов, global batch 256, learning rate 0.0001 с cosine-расписанием и 3% warmup.
- Работает только в thinking-mode: при генерации нужен
enable_thinking=True. - Final dev loss — 0.3126 на 1 000 held-out строк; других метрик в карточке нет.
- Max sequence length — 6 144 токена, обучение в bf16.
Что можно сделать
- Разбирать вопросы по T20: считать run rate, chase rate, strike rate и объяснять ход решения.
- Собрать спортивного Q&A-бота на Qwen3.8-27B с этим LoRA для тематических запросов.
- Использовать как пример domain-specific LoRA для собственного датасета reasoning-трасс.
Пример
import torch
from peft import PeftModel
from transformers import AutoModelForImageTextToText, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Qwen/Qwen3.8-27B")
model = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.8-27B", dtype=torch.bfloat16, device_map="auto")
model = PeftModel.from_pretrained(model, "Balab2021/Qwen3.8-27B-Cricket-Reasoning-Rhea-LoRA")
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=True)
Подробнее
Dev loss: 0.3126 на 1 000 held-out строк; accuracy и длину reasoning не измеряли.Обучение: 1 эпоха, 1 788 шагов, global batch 256, 32 GPU NVIDIA Vera Rubin, около 4,5 часа.
Loss считался только по reasoning и ответу; max sequence length — 6 144 токена, bf16.
Ограничение: адаптер обучен только на thinking-mode выходах, нужен
enable_thinking=True. VRAM в карточке не указан.









Комментарии