torchlight-qwen3-8b

torchlight — это Qwen3-8B (8,2 млрд параметров), дообученная на 6 902 чатах с форума PyTorch. Большинство ответов — посты, которые решили ветку; остальные учат модель просить недостающие детали. Есть полная 16-битная версия, LoRA-адаптер и GGUF.

🔥 Ключевые особенности

• 🧐 Обучена на реальных решениях форума, в основном от ptrblck.
• 🚫 Не угадывает: если не хватает кода или полного текста ошибки — просит их.
• 💯 Вдвое меньше неверных ответов: 15% против 31% у базовой Qwen3-8B.
• 👀 Проверена на 163 новых вопросах форума, которые новее обучающих данных.
• 🔥 Обучение заняло 4,1 часа на одной Tesla T4 в Kaggle.
• 👍 Версии: полная, LoRA и GGUF (Q4_K_M, Q8_0).

👀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
repo='samadpls/torchlight-qwen3-8b'; tok=AutoTokenizer.from_pretrained(repo)
model=AutoModelForCausalLM.from_pretrained(repo, dtype='auto', device_map='auto')
messages=[{'role':'system','content':'You are a careful PyTorch helper. Give specific, correct guidance with code where it helps. If a question lacks the details needed to answer it, ask for them, for example a minimal executable code snippet or the full error message, instead of guessing.'},{'role':'user','content':'How do I check which device a tensor is on?'}]
text=tok.apply_chat_template(messages, add_generation_prompt=True, tokenize=False, enable_thinking=False)
inputs=tok(text, return_tensors='pt').to(model.device)
out=model.generate(**inputs, max_new_tokens=512)
print(tok.decode(out[0][inputs.input_ids.shape[1]:], skip_special_tokens=True))

Подробнее

Средняя оценка 2,25/5 против 2,17 у Qwen3-8B; неверных ответов 15% против 31%.
На 4 вопросах, где эксперт просил детали, модель сделала это в 3 случаях; но в 13% остальных просит лишнее.
Полная 16-битная версия; обучение — 4,1 часа на Tesla T4, 863 шага, QLoRA. Язык — только английский, знания PyTorch — до начала 2025.
Ограничение: ответы короткие, полных исправлений меньше, чем у базовой Qwen3-8B (9% оценок 4–5 против 17%).