LedgerCall
LoRA для точных финансовых расчётов через вызов инструментов
2 мин чтенияобновлено
Адаптер формата LoRA (небольшая обучаемая надстройка над базовой моделью) для компактной мультиязычной языковой модели CohereLabs/tiny-aya-global (3,35 млрд параметров) от автора frankzhu94. Вместо того чтобы пытаться вычислять финансовые показатели в уме и ошибаться в цифрах, модель учится корректно вызывать четыре детерминированных инструмента: convert_currency, compound_interest, percent_change и loan_payment. В отличие от базовой версии, которая почти не справлялась с этими задачами и часто ломала формат запросов, дообученный вариант стабильно строит правильные вызовы и отвечает в три раза короче. Пригодится разработчикам агентов и финансовых ассистентов, которым нужна лёгкая локальная модель с поддержкой нескольких языков.
Ключевые особенности
- Zero malformed calls: доля некорректно сформированных вызовов инструментов снизилась с 71% до 0% на тестовой выборке и с 58,3% до 0% на слепом внедоменном тесте (Blind OOD).
- Рост точности на сложных сценариях: успешность выполнения задач на слепом наборе из 72 мультиязычных примеров выросла с 0% до 84,7%.
- Компактные ответы: среднее количество генерируемых токенов сократилось с 308 до 99, что ускоряет работу агента.
- Точное совпадение форматов обучения: SFT (обучение с учителем на эталонных траекториях) проводилось через функцию
create_rollout_fnиз AgentTune, поэтому промпты при обучении побайтово совпадают с промптами при оценке.
Что можно сделать
- Финансовый калькулятор-агент: встроить модель в локального помощника для расчёта сложных процентов, кредитных платежей, процентных изменений и конвертации валют без галлюцинаций в арифметике.
- Мультиязычный бот поддержки: использовать в сценариях на английском, китайском, испанском, французском, немецком и японском языках с поддержкой символов валют и многошаговых цепочек вызовов.
- База для экспериментов с tool calling: взять адаптер и открытый датасет траекторий как ориентир для отладки надёжного вызова функций в компактных LLM (больших языковых моделях) на 3B параметров.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-global", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "frankzhu94/ledgercall-tiny-aya-sft")
tok = AutoTokenizer.from_pretrained("frankzhu94/ledgercall-tiny-aya-sft")
Подробнее
Метрики (greedy decoding, T4): In-distribution (100 задач) — 100% успеха против 0% у базы; Blind OOD (72 задачи, en/zh/es/fr/de/ja) — 84,7% успеха против 0% у базы.Обучение: Rank-16 LoRA, 960 задач (2 487 примеров реплик), 100 шагов, 74 минуты на одной GPU Kaggle T4.
Ограничения: модель всё ещё ошибается на числах, записанных словами (например, «four-year»), и на незнакомых формах цепочек вызовов; без слияния весов (merge) падает пропускная способность.
Лицензия: CC BY-NC 4.0 (унаследована от базовой модели).










Комментарии