GreatQuestion-3B

GreatQuestion-3B — tersified-вариант Qwen/Qwen2.5-3B-Instruct от saidutta69, сделанный в Heretic v2.1.0.dev0 через Arbitrary-Rank Ablation (ARA). Это dense-модель на 3,09 млрд параметров: 36 слоёв, 32 768 токенов контекста; ARA правит слои 6–36, выход внимания и down-проекции MLP, остальное не менялось. Задача — отвечать минимальным текстом, который удовлетворяет промпт, без вступлений и пересказа вопроса.

🧩 Ключевые особенности

• ⚡ Не добавляет вступлений, не пересказывает вопрос и не расписывает лишние детали.
• 💭 Средняя длина ответа падает с 1418.5 до 152.3 на harmless_alpaca.
• 🧬 Это правка весов, а не файнтюн: знания и instruction following наследуются от базовой модели.
• 🧊 Запускается на ноутбуке с 8 ГБ в BF16 при умеренном контексте; на 12 ГБ — легко.
• 🛑 Не decensored: отказы не менялись, safety-слой не добавлялся и не удалялся.
• 🛑 Не для длинных объяснений, туториалов и пошаговых рассуждений — для этого лучше базовая модель.

💡 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "saidutta69/GreatQuestion-3B"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
messages = [{"role": "user", "content": "What is 1+1?"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))

Подробнее

Средняя длина ответа: 1418.5 → 152.3; PIQA acc_norm: 0.7829 → 0.7753; CommonsenseQA: 0.7903 → 0.7682.
BF16 safetensors, 6.17 ГБ; для контекста и активаций в transformers добавьте ~1 ГБ. GGUF пока нет.
Короткие ответы могут терять важные детали; для задач, где пропуск шага меняет результат, проверяйте вывод.