golf-finetuned-agent-ONNX

Это Qwen3-0.6B, дообученная под одну узкую задачу: отвечать на звонки вымышленного Cedar Ridge Golf Club и вызывать три инструмента — check_availability, book_tee_time и get_course_info. Модель работает в браузере через Transformers.js на WebGPU; это не универсальный ассистент и она ничего не знает о реальных гольф-клубах.

🗣 Ключевые особенности

• 📞 Агент для телефонных звонков: доступность, бронь tee time, информация о курсе.
• ⌨ LoRA rank 16, alpha 32, dropout 0.05 на всех linear-слоях, затем слияние с базовыми весами; одна эпоха, lr 2e-4 с cosine decay, fp16 на одной T4.
• 🗣 1800 синтетических телефонных диалогов (6647 шагов агента), сгенерированных из кода инструментов демо; thinking у Qwen3 отключён.
• 😎 ONNX-сборка для WebGPU: fused attention, rotary embedding и RMSNorm; 4-bit k_quant блоками по 32, часть слоёв в 8-bit, активации fp16.
• 📝 Один файл весов onnx/model_q4f16.onnx_data на 488 MB.

📝 Пример

import { AutoModelForCausalLM, AutoTokenizer } from "@huggingface/transformers";

const tokenizer = await AutoTokenizer.from_pretrained("vasishath/golf-finetuned-agent-ONNX");
const model = await AutoModelForCausalLM.from_pretrained("vasishath/golf-finetuned-agent-ONNX", {
  dtype: "q4f16",
  device: "webgpu",
  use_external_data_format: true,
});

Подробнее

На 150 отложенных шагах: до файнтюна 64% верный тип ответа и 3% точный вызов; после — 97% и 94% в PyTorch, 97% и 99% в браузерном ONNX.
Вес одного файла — 488 MB: 4-bit k_quant блоками по 32, голова словаря и чувствительные слои в 8-bit, активации fp16.
Ограничения: маленькая модель и узкие данные — может ошибиться в аргументе инструмента или перенести деталь из начала звонка; демо проверяет бронь по словам звонящего.