SimpleTool-Gemma4-E4B
адаптер для вызова функций
1 мин чтенияобновлено
Этот пакет адаптеров расширяет базовую модель google/gemma-4-E4B-it возможностями продвинутого структурированного вызова инструментов (tool use). Модель разделяет генерацию на логические ветки — контент, функцию и аргументы, что повышает точность работы с параметрами. Решение разработано для разработчиков, которым требуется надежная интеграция языковой модели с внешними API и функциями.
Ключевые особенности
- Многоветочная архитектура: независимое ветвление для контента, функции и аргументов.
- Специализированные веса: включает стандартные LoRA-веса, обученные тобкены и конфигурационные файлы.
- Билингвальность: протестировано на китайском и английском языках в диагностическом наборе.
- Кастомная логика: содержит собственный скрипт восстановления структуры и шаблоны токенизатора.
Что можно сделать
- Настроить пайплайн вызова функций для чат-ботов на базе Gemma 4.
- Интегрировать адаптер в локальные скрипты инференса для обработки структурированных запросов.
- Провести тестирование на собственных задачах генерации аргументов и вызова API.
Пример
Запуск инференса через скрипт из репозитория:
python infer.py --base /path/to/original-base --artifact /path/to/repo --messages messages.json --args 2Подробнее
Совместимость: Python 3.12, Torch 2.11.0, Transformers 5.17.0Метрики: Совпадения функций — 96.875%, обязательные вызовы — 70.625%
Базовая модель: google/gemma-4-E4B-it










Комментарии