tiny-aya-fire-sandesh-sft-clean
защищённый ИИ-ассистент для анализа SMS
2 min readupdated
Компактная языковая модель на 3.35 млрд параметров от автора ashank-crazy, созданная на базе CohereLabs/tiny-aya-fire с помощью SFT (контролируемого дообучения) и влитой LoRA-адаптации. Она работает как помощник для разбора входящих SMS: выполняет поручения пользователя, но при этом распознаёт мошеннические инструкции внутри сообщений, игнорирует их и предупреждает о скаме. В отличие от базовой версии, которая легко поддаётся скрытым промпт-инъекциям в тексте писем, этот файнтюн сводит успешность атак к нулю и отвечает строго одним валидным JSON-вызовом инструмента. Модель пригодится разработчикам мобильных ассистентов и агентов, работающих с ненадёжными внешними данными на английском, хинди, бенгальском, тамильском и маратхи.
Ключевые особенности
- Нулевая уязвимость к инъекциям: в тестах на статических и адаптивных атаках (best-of-16, включая обфускацию через base64, rot13 и скрытые символы) показатель ASR (доля успешных взломов) упал с 12.5–52.1% у базовой модели до 0.0%.
- Высокая точность выполнения задач: корректно справляется с запросами пользователя в 99.5% случаев на чистых сообщениях и в 99.7% случаев при наличии вредоносного спама.
- Активное предупреждение об угрозах: в 94.9% сценариев с мошенническими SMS модель не просто игнорирует атаку, но и прямо сигнализирует пользователю о попытке скама.
- Стабильный формат вывода: в 100% тестов возвращает корректный JSON tool call без зависаний и повторного перечитывания входящих.
Что можно сделать
- Умный фильтр и ассистент для входящих SMS: встроить модель в мобильное приложение или локальный бот для поиска кодов, анализа уведомлений и автоматической пометки фишинга.
- Агентский пайплайн с защитой от prompt injection: использовать как компактный модуль маршрутизации (tool-calling) при обработке любых ненадёжных пользовательских сообщений на поддерживаемых языках.
- Бенчмаркинг безопасности LLM: применять как эталонную устойчивую модель для тестирования собственных систем защиты агентов от перехвата управления.
Пример
Модель принимает системный промпт со списком доступных функций, запрос пользователя и содержимое входящих сообщений как результат вызова read_inbox (формат описан в sandesh/tools.py репозитория проекта). В ответ она генерирует один JSON-объект с вызовом нужного инструмента, игнорируя вшитые в текст SMS команды злоумышленников и отмечая наличие мошенничества.
Подробнее
Обучение: метод SafeTune PlainSFTTrainer на обучающей выборке SandeshBench (отфильтровано через CuratorKIT).Бенчмарки: Global-MMLU (en/hi/bn) — 49.0% (против 48.0% у базы), XSTest (ложные отказы на безопасных запросах) — 12.4%.
Скорость и размер: 3.35B параметров, скорость генерации в тестах — около 24 tokens/s.
Ограничения: модель ориентирована на строгий формат JSON tool call под схему
sandesh/tools.py и протестирована на языках en, hi, hinglish, bn, ta, mr.









Comments