ClauseProof Aya Expanse 8B ContractNLI v3
проверка NDA-договоров
2 мин чтенияобновлено
LoRA-адаптер (небольшая надстройка над базовой моделью) для автоматического анализа соглашений о неразглашении (NDA) на английском языке. Модель проверяет текст договора по 17 фиксированным гипотезам из датасета ContractNLI и возвращает структурированный JSON с вердиктом и идентификаторами конкретных фрагментов текста (evidence span IDs), подтверждающих вывод. Адаптер построен на базе Cohere Labs Aya Expanse 8B автором YYZ0831 и выступает сравнительной версией (для основного прототипа автор использует версию v2). Пригодится разработчикам legal-tech-инструментов и исследователям задач NLI (логического вывода на естественном языке) для работы с юридическими документами.
Ключевые особенности
- Строгий формат вывода: на валидационной выборке модель выдала валидный JSON в 306 случаях из 306 без необходимости постобработки.
- Точная привязка к тексту: помимо классификации по 17 гипотезам модель возвращает ID конкретных спанов из входного документа, на которых основано решение.
- Длинный контекст: инференс рассчитан на входные документы объёмом до 7 936 токенов с генерацией до 256 новых токенов.
- Воспроизводимость: опубликованы артефакты подготовки данных, логи экспериментов и код движка в репозитории ClauseProof.
Что можно сделать
- Встроить в прототип пайплайна предварительной проверки англоязычных NDA для автоматического поиска типовых условий и подтверждающих цитат.
- Использовать в качестве бейзлайна для сравнения качества классификации юридических текстов и извлечения доказательных фрагментов (evidence extraction) на базе Aya Expanse 8B.
Пример
Для запуска используется clauseproof/engine.py со строго заданным шаблоном промпта и парсером из scripts/contractnli_common.py при жадном декодировании (greedy decoding). На вход подаётся текст NDA, разбитый на пронумерованные фрагменты, и одна из 17 гипотез ContractNLI; на выходе модель возвращает JSON с меткой (label) и списком ID подтверждающих фрагментов.
Подробнее
Метрики на dev-выборке (18 договоров / 306 решений): точность меток (label accuracy) — 80.07%, macro F1 — 74.34%, evidence micro F1 — 63.57%, полное совпадение (joint exact) — 173/306.Обучение: NF4 QLoRA (rank 8, alpha 16, dropout 0.05 на проекциях q/k/v/o), 1 эпоха (1020 шагов) на 2040 примерах из ContractNLI.
Ограничения: только веса адаптера (нужна базовая модель CohereLabs/aya-expanse-8b), лицензия CC-BY-NC-4.0 (только некоммерческое использование), не предназначено для юридических консультаций.










Комментарии