Spark-X2.6-4B-heretic-tool

Это 4.11B-модель на базе XHToken/Spark-X2.6-4B от сообщества NeosQ. В ней подавлены отказы, но сохранено умение не вызывать инструмент, если доступные функции не подходят к запросу. Языки: английский и китайский.

⚙ Ключевые особенности

• 🧠 Архитектура Spark2_5ForCausalLM: 36 слоёв, hidden 2560, vocab 131072, tied embeddings.
• 🛡 Abliteration через Heretic v2.1.0 с модификатором ARA: 99/100 → 0/100 отказов на 100 вредных промптах.
• 🔧 Поверх — LoRA r=16 / α=32 на 1000 сбалансированных примерах BFCL; адаптер слит в веса, отдельный adapter при инференсе не нужен.
• 📊 BFCL v4 irrelevance — 87.9 против 62.9 у базы и 18.8 у промежуточного чекпоинта; strict call-syntax тоже 87.9.
• 💾 BF16 Safetensors, 2 шарда, около 7.7 GiB.

💬 Пример

Пример из карточки: на запрос «What is the gold price today in USA?» при доступной функции calculate_Bond_Price модель отвечает, что функция не относится к запросу и вызов не нужен. Для запроса погоды она возвращает вызов [Weather_1_GetWeather(city='New York', date='2023-03-08')].

Подробнее

BFCL v4: irrelevance 87.9, среднее по 5 категориям 86.8, HumanEval 73.3; GSM8K 83.3 (n=150), MATH-500 20.0 (n=80).
Обучение LoRA заняло около 20 минут на Apple MPS, обучилось 0.78% параметров.
Выравнивание безопасности намеренно удалено: модель может выдавать небезопасный контент, нужны фильтры и контроль.
Оценка abstention — 240 англоязычных промптов с одной функцией; мультитёрн и неанглийские схемы не покрыты. IFEval 72.0 ниже базы 76.5.