FinchAI-Rune3-Preview
компактный локальный ассистент без зацикливаний
2 min readupdated
Компактная языковая модель (LLM) на 1.88B параметров от автора whcl412, построенная на базе Qwen3.5-2B и дообученная методом LoRA (адаптация весов под конкретные задачи) на 1134 примерах. Главная задача модели — поддерживать осмысленный диалог на протяжении нескольких реплик без типичной для маленьких моделей болезни «повторения одних и тех же фраз» начиная с 3–4 хода. Кроме того, она умеет рассуждать перед ответом, вызывать внешние инструменты (tool calling) и безопасно отказываться от опасных действий, например массового удаления файлов.
Ключевые особенности
- Стабильность в длинных диалогах: 20.1% обучающего датасета составляют многошаговые переписки (2–10 раундов), благодаря чему модель выдаёт новую информацию в каждом из 5 проверочных ходов подряд.
- Вызов инструментов через XML: модель генерирует команды в тегах
, умеет делать многошаговые запросы на основе прошлых результатов и не вызывает лишние функции, если ответ уже очевиден. - Режим рассуждений: перед финальным ответом модель записывает ход мыслей в блок
…(в обучающих данных рассуждения велись на китайском языке). - Осторожность с опасными командами: при запросе на удаление файлов модель не запускает команду вслепую, а просит уточнить, какие данные можно трогать.
Что можно сделать
- Запустить как лёгкого локального агента на ноутбуке (обучалась и тестировалась на Mac M4 с 16 ГБ памяти) для навигации по логам и файлам.
- Встроить в чат-бот с поддержкой коротких сессий на 8–10 реплик, где важно, чтобы модель не сваливалась в однотипные ответы.
- Использовать в связке с парсером XML-тегов
для автоматизации простых консольных или файловых сценариев.
Пример
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_id = "whcl412/FinchAI-Rune3-Preview"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto").eval()
text = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=True)
out = model.generate(**tok(text, return_tensors="pt").to(model.device), max_new_tokens=256)
Подробнее
Веса: полные (неквантованные) в формате bfloat16, размер 3.52 GiB, лицензия Apache 2.0.Обучение: LoRA (r=8, alpha=16, 8.41M обучаемых параметров), 282 шага на Mac M4 / 16GB / MPS, loss снизился с 3.50 до 1.70–1.90.
Важно при запуске: обязательно передавайте
enable_thinking=True в apply_chat_template, иначе шаблон Qwen3.5 заранее закроет пустой тег и модель продублирует ответ.Ограничения: максимальная длина обучающих примеров — 1411 токенов (рекомендуется держать контекст в пределах 2K токенов и 8–10 реплик); языки — китайский и английский.










Comments