Climate-1000-Qwen-4b

Standalone text-generation модель на базе Qwen/Qwen3.5-4B (4,21 млрд параметров). Это результат слияния выбранного checkpoint-230 LoRA-адаптера в исходную BF16-базу: веса базы включены, отдельно загружать адаптер не нужно. Экспорт содержит текстовую модель без неиспользуемого vision-энкодера.

✨ Ключевые особенности

• 🧸 Standalone merge: LoRA checkpoint-230 влит в BF16-базу, отдельный адаптер не требуется.
• 💻 Архитектура Qwen3_5ForCausalLM, model type qwen3_5_text; веса BF16, без квантования.
• 📓 SFT: 460 шагов и 2 эпохи, 3 665 train / 406 val примеров; thinking отключён.
• 🔨 LoRA: rank 32, alpha 64, dropout 0.05, completion-only loss.
• 📌 Валидационный loss: 0,377465 на checkpoint 230 и 0,380625 на финальном шаге 460.
• 🫥 Заявленной оценки качества генерации для merged-экспорта нет; heldout-бенчмарк предварительный.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = 'Prience91/Climate-1000-Qwen-4b'
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype='bfloat16')
messages = [{'role': 'user', 'content': '...'}]
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)

Подробнее

Loss 0,377465 / 0,380625 — это loss адаптерного обучения; на merged-экспорте он не перемерялся.
Обучение: 3 665 train / 406 val, 460 шагов, 2 эпохи, LR 1e-4, microbatch 1, accumulation 16, до 8 192 токенов, seed 3407.
Ограничения: нет оценки качества генерации; heldout-бенчмарк предварительный (98 кейсов, 78 approved); token loss не подтверждает научную точность и качество цитирования.
Железо/VRAM не указаны. Нужен совместимый Transformers — merge проверен на 5.15.1.