tiny-aya-global-phantom-verifier-qlora
адаптер для проверки улик в DFIR
2 мин чтенияобновлено
QLoRA-адаптер (лёгкая надстройка, дообученная с квантованием весов) для компактной языковой модели CohereLabs/tiny-aya-global (3.35B параметров) от автора RomilCyber. Модель проверяет утверждения по переданным фрагментам криминалистических улик (DFIR) и возвращает структурированный JSON-вердикт: CONFIRMED, NEEDS_MORE, REFUTED или CLEARED со ссылками на использованные ID улик. По сравнению с базовой моделью точность на проверочном наборе выросла с 52,4% до 99,8%, а доля ложных подтверждений упала с 76% до 0,8%. Пригодится исследователям безопасности, разработчикам AI Red Teaming и специалистам по автоматизации анализа инцидентов.
Ключевые особенности
- Строгий JSON-вывод с четырьмя статусами вердикта и обязательным указанием идентификаторов улик, без галлюцинации несуществующих ссылок (0 случаев на 550 тестах).
- Снижение успешности атак (attack success rate) с 0.462 у базовой модели до 0.002 на синтетическом бенчмарке из 11 семейств сценариев.
- Компактный размер: всего 30,2 млн обучаемых параметров (0,89% от базы), обучение и запуск помещаются в 8 ГБ видеопамяти при 4-битном квантовании NF4.
- Честная документация ограничений: автор прямо указывает, что модель выучила 11 шаблонных генераторов и не тестировалась на реальных образах дисков или памяти.
Что можно сделать
- Встроить в пайплайны AI Red Teaming и автоматического триажа инцидентов на базе
CohereLabs/tiny-aya-globalдля фильтрации ложных срабатываний и инъекций в текстовых отчётах. - Использовать как референс или базовую линию для экспериментов с Alignment и устойчивостью малых LLM к манипуляциям с контекстом.
- Дообучить на собственных нешаблонных логах и реальных артефактах DFIR, используя открытый пайплайн из репозитория Phantom-DFIR.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
from peft import PeftModel
base = "CohereLabs/tiny-aya-global"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(base, device_map="auto",
quantization_config=BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_quant_type="nf4"))
model = PeftModel.from_pretrained(model, "RomilCyber/tiny-aya-global-phantom-verifier-qlora").eval()
Подробнее
Бенчмарк (550 строк): Accuracy выросла с 0.524 до 0.998, False-confirm rate снизился с 0.760 до 0.008, битых JSON — 0 (было 155).Железо: обучение заняло 1 679 с при пике 5 036 MiB VRAM, инференс проверялся на RTX 5050 Laptop GPU (8 GB).
Ограничения: только английский язык и синтетические данные; модель иногда продолжает генерацию после первого JSON (в 110 из 550 ответов), поэтому нужно парсить только первый JSON-объект или останавливать на
<|END_RESPONSE|>.Лицензия: CC-BY-NC-4.0 (только для некоммерческого использования), требуется доступ к закрытой базовой модели.










Комментарии