ARN-v2

ARN-v2 — модель на 4,44 млн параметров, которая не пишет ответ, а выбирает функцию из фиксированного списка и размечает в запросе её аргументы. Основа — google/bert_uncased_L-2_H-128_A-2, дообученный энд-ту-энд; поверх работают роутер FAR-v2, CRF-теггер аргументов и ограниченное совместное декодирование. Проект студенческий, код и чекпоинты под MIT.

📌 Ключевые особенности

• ✅ Выбирает одну или несколько функций из заранее известного реестра и извлекает аргументы.
• 🔥 Около 11,4 мс на запрос на CPU в один поток; на четырёх потоках — 4,1 мс.
• 📌 Правила важны: без канонизации дат и времени качество на Mobile Actions падает до 55,22%.
• ❌ Не генерирует текст, не работает с неизвестными инструментами, повторным вызовом одной функции и многоходовым контекстом.
• 📚 Только английский; обучение и оценка — на Google Mobile Actions.

💻 Пример

python scripts/v2_redecode.py --data <path to Mobile Actions dataset.jsonl> --ckpt arn_v2_seed42.pt

Подробнее

Mobile Actions, strict exact match: 89,32 ± 0,47 (3 seed).
MixATIS: 40,94 ± 2,62; MixSNIPS: 70,29 ± 0,46 — без правил.
На Mobile Actions обходит fine-tune FunctionGemma-270M на +3,75…+4,68 п.п., но уступает LFM2.5-230M на −1,77…−2,71 п.п.
Тестовый сплит смотрели при разработке, поэтому результат Mobile Actions — exploratory. Чекпоинт FP32 PyTorch — около 17,8 МБ.