needle3-tool-call-ko-v1

Это компактная encoder-модель на базе ELECTRA для вызова инструментов, с 32 768-токенным токенизатором. Автор обучал её на корейских и английских данных: pretraining, затем fine-tuning под tool calling; есть обработка названий и алиасов приложений. На вход она получает запрос и определения инструментов, а на выходе отдаёт JSON с именем функции и аргументами; работает на CPU.

📝 Ключевые особенности

• 👌 Возвращает JSON: статус, список function_calls с именем инструмента и аргументами.
• 🗣 Поддерживает корейский и английский; умеет сопоставлять названия приложений с алиасами через каталог.
• ⌨ Работает на CPU; само приложение запускает хост, а не модель.
• 📝 Свои инструменты задаются JSON-массивом; обязателен additionalProperties: false, поддерживаются string, integer, number и boolean.
• 🤝 Лимиты: до 8 инструментов, до 24 полей, вход — до 512 токенов вместе с определениями.
• 🙃 В карточке предупреждают: ошибки выбора инструмента и извлечения аргументов ещё есть, результат нужно проверять перед выполнением.

⌨ Пример

python -I -B runtime/infer.py \
  --tools examples/open_app_tools.json \
  --query '스포티파이 앱을 열어줘.'

Подробнее

Бенчмарков в карточке нет.
Модель рассчитана на CPU; вход — до 512 токенов, до 8 инструментов и 24 полей.
Лицензия Apache-2.0, но часть условий исходных данных ещё уточняется.
Перед реальным запуском проверяйте status/issues и function_calls: возможны ошибки выбора инструмента и аргументов.