Qwen3.5-2B · Refauna

Небольшая языковая модель на 2,27 млрд параметров, дообученная от Qwen/Qwen3.5-2B на материалах инициативы Refauna. Она отвечает на бразильском португальском о дефаунации, реинтродукции животных, распространении семян и сохранении Mata Atlântica — и предназначена для работы вместе с RAG.

🔎 Ключевые особенности

• 🎯 Специализация — научные тексты Refauna: 22 работы, включая статьи, тезисы, главы и диссертацию.
• 📌 Обучена в стиле RAFT: получает до 4 пронумерованных фрагментов, цитирует их как [n] и говорит, если ответа в контексте нет.
• 🗂 Для обучения собрали 942 синтетических примера на PT-BR; split сделан по документам, тестовые работы не попали в тренировку.
• 💻 Есть LoRA-адаптер, слитая 16-битная модель и GGUF Q4_K_M/Q8_0; запуск через Transformers или Ollama.
• ⚙ Qwen3.5 по умолчанию включает рассуждение — его нужно отключать: enable_thinking=False или "think": false в Ollama.

💻 Пример

from transformers import pipeline
pipe = pipeline("text-generation", model="iamrodrigocoelho/qwen3.5-2b-refauna", torch_dtype="auto", device_map="auto")
messages = [{"role": "system", "content": SYSTEM_PROMPT}, {"role": "user", "content": user_message}]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True, enable_thinking=False)
print(pipe(prompt, max_new_tokens=512, do_sample=False, return_full_text=False)[0]["generated_text"])

Подробнее

Оценка LLM-судьёй: FT+RAG — fidelity 4,41, правильная цитата 45%, корректная абстенция 100%, латентность 4,5 с на L4; base+RAG — 3,17 / 33% / 12% / 14,3 с.
Обучение: LoRA r=16, alpha=16, 2 эпохи, lr=0.0002; пик 7,94 ГБ VRAM, 14,9 мин на NVIDIA L4.
Использовать с RAG: без него модель ошибается в фактах; Recall@4 = 0,42 — качество поиска остаётся узким местом.
Ограничения: только 22 работы, образовательные цели, не заменяет оригинальную литературу; лицензии исходных текстов ещё проверяются.