merge-or-mix-1.5b

Это французская LLM на базе Qwen2.5-1.5B-Instruct (1.54B параметров), дообученная через LoRA и со слитыми в веса адаптерами. Модель сама выбирает режим ответа по вопросу: «терпеливый профессор» для объяснений или «строгий JSON» для прямых ответов. Системный промпт не нужен.

🧐 Ключевые особенности

• 🤔 Для вопросов-объяснений («comment…», «pourquoi…», «c’est quoi…») выдаёт нумерованные шаги, блок «Exemple :» и неформальный французский на «tu».
• 🫡 Для фактических и прямых вопросов отвечает строгим JSON: {"reponse": …, "confiance": …, "sujets": [...]}; уверенность зависит от типа вопроса.
• 🔥 Обучена на смешанных данных одним LoRA, а не слиянием двух отдельных адаптеров; это лучшая модель эксперимента merge vs mix.
• 👀 Отвечает по-французски; есть GGUF Q8_0 для Ollama и llama.cpp.
• 🚀 Обучение заняло около 6 минут на RTX 4060.

🤔 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
nom = 'DavidJLN/merge-or-mix-1.5b'
tok = AutoTokenizer.from_pretrained(nom)
model = AutoModelForCausalLM.from_pretrained(nom, dtype='auto', device_map='auto')
texte = tok.apply_chat_template([{'role':'user','content':'Pourquoi le ciel est-il bleu ?'}], add_generation_prompt=True, tokenize=False)
entree = tok(texte, return_tensors='pt').to(model.device)
sortie = model.generate(**entree, max_new_tokens=600, do_sample=False)
print(tok.decode(sortie[0][entree['input_ids'].shape[1]:], skip_special_tokens=True))

Подробнее

Оценка на 50 отложенных вопросах: 49.0/50 у этой модели, 44.7/50 у DARE-слияния двух LoRA, 0/50 у базовой Qwen без системного промпта.
На 20 дополнительных вопросах вне тем обучения — 18/20 против 10/20 у DARE. GGUF Q8_0 сохраняет 48/50.
Ограничения: модель часто хорошо оформляет, но фактически ошибается; выбор таланта зависит от тем обучения; выборка маленькая.