ToolCall-200M-DPO
экспериментальная версия языковой модели для вызова функций
1 мин чтения
Модель представляет собой чекпоинт с применением метода DPO (Direct Preference Optimization, прямой оптимизации предпочтений) для улучшения соблюдения формата. Базовая 200-миллионная модель обучалась с нуля на 4 миллиардах токенов с использованием бесплатных сессий Kaggle. Эксперимент показал, что форматная оптимизация снижает количество зависаний и улучшает отказ от ответа на нерелевантные запросы, однако точность выбора самих инструментов при этом несколько падает.
Ключевые особенности
- DPO-оптимизация: фокус на строгом соблюдении формата вывода структурированных решений.
- Улучшенный отказ: модель стала реже ошибаться на нерелевантных запросах и реже упираться в лимит токенов.
- Компактный размер: всего 200 миллионов параметров для легковесных локальных задач.
- Ограничения точности: точный выбор инструментов и аргументов снизился по сравнению с базовой версией.
Что можно сделать
- Тестирование ответа: проверить поведение модели в задачах на вызов функций (function calling) в сравнении с версией SFTv4.
- Интеграция в пайплайны: использовать для оценки поведения маленьких языковых моделей при форматных ограничениях.
Для общего использования разработчики рекомендуют базовую версию SFTv4, а данный чекпоинт интересен для изучения влияния DPO на точность вызова инструментов.
Подробнее
Контекст: 2 048 токеновТочность выбора инструментов: 66.87% (против 72.80% у базы)
Точные вызовы: 21.73% (против 23.71% у базы)
Корректные отказы: 69.17% (против 65.42% у базы)










Комментарии