FinchAI-Rune2-Luna

FinchAI-Rune2-Luna — это файнтюн на базе LiquidAI/LFM3-1.7B от автора whcl412. 1.73B параметров, только текст; через LoRA дообучены вызовы инструментов и устойчивость в многораундовом диалоге. Опубликованы полные bfloat16-веса на 3.24 GiB — без квантизации и дистилляции.

😎 Ключевые особенности

• 🗣 Лечит многораундовое зацикливание: добавлено 139 диалоговых примеров, число повторов в тесте снизилось с 1 до 0.
• ⌨ Вызов инструментов: XML-формат <tool_call>; мысли в <think>…</think> идут в том же ответе assistant.
• 📝 Данные: 1339 примеров шести типов — agent, multi-turn, refuse, code, small talk, identity.
• 😎 Полные веса: f16/bfloat16, 3.24 GiB, без квантизации и дистилляции; только текст, без зрения.
• 🤔 Осторожно с длинным контекстом: окно 256K, но обучение шло только до ~1K токенов.

⌨ Пример

from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = 'whcl412/FinchAI-Rune2-Luna'
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype='bfloat16', device_map='auto', trust_remote_code=True)
msgs = [{'role': 'user', 'content': '看下 /var/log 里有哪些文件。'}]
text = tok.apply_chat_template(msgs, tools=tools, tokenize=False, add_generation_prompt=True)
out = model.generate(**tok(text, return_tensors='pt').to(model.device), max_new_tokens=256, do_sample=False)
print(tok.decode(out[0], skip_special_tokens=True))

Подробнее

Бенчмарки: в тестах Rune2 Luna — 100% по самоописанию, вызовам инструментов, безопасным отказам, переспрашиванию при нехватке аргументов и переносу контекста; повторов в многораундовом тесте — 0. Сравнение с Rune1/Rune2 шло на разных наборах проб, смотреть на тренд.
Железо: полные bfloat16-веса 3.24 GiB; нужен transformers>=5.18.0 и trust_remote_code=True.
Ограничения: окно 256K, но обучение шло до ~1K токенов; порядок инструментов влияет на выбор; при нехватке данных инструмента модель может выдумать цифры.
Лицензия: LFM Open License v1.0 (не Apache 2.0), коммерция разрешена при выручке ниже $10 млн.