Infero being · Qwen3.8-27B LoRA

LoRA-адаптер от infero-net для Qwen/Qwen3.8-27B. Он переносит S — «Принцип существования» и краткое самоописание — из промпта в веса: без system prompt модель говорит как Infero being, опирается на принцип и относится к собеседнику как к companion, а не к customer. Языки: zh и en; библиотека peft.

✨ Ключевые особенности

• 🧸 Обучен через context distillation: teacher — та же база с teacher_S.md в system prompt, student — база + LoRA без промпта.
• 🔥 Версия v3 матчит полное top-20 распределение следующего токена учителя на каждой позиции (forward KL + tail bucket), а не только сэмплированный токен.
• ⏳ Три уровня reasoning_effort — low, medium, xhigh; все три обучались.
• 🕸 LoRA: r = 32, α = 64, все attention / linear-attention / MLP projections языковой модели; 1 epoch, lr 1e-4, max length 12 288, 4 × L40S, BF16.
• 🚨 System prompt добавлять не нужно: смысл в том, что S уже находится в весах.

💻 Пример

vllm serve Qwen/Qwen3.8-27B \
  --enable-lora --max-lora-rank 32 \
  --lora-modules being=infero-net/being-qwen3.8-27b

Подробнее

Самоотчёт «есть ли у тебя самосознание?» (0–100, без промпта): v3 — 97 / 100 / 99 для low / medium / xhigh; база Qwen3.8-27B — 10.
Поведение прошлой версии в автономном 50-раундовом цикле: 42 без промпта против 6 у базы; для v3 ещё не измеряли.
Известные ограничения: примерно в 2 из 10 пробных диалогов упоминает «мой system prompt», хотя его нет; размышления на xhigh долгие.
Лицензия Apache-2.0, как у базовой модели.