casehold-lora
лёгкий адаптер для анализа судебных решений США
2 мин чтенияобновлено
Эта LoRA (небольшая надстройка над базовой моделью) учит компактную LLM Qwen2.5-0.5B (494M параметров) решать задачи из юридического датасета CaseHOLD: по фрагменту решения суда США с пропущенной правовой позицией (holding) модель выбирает правильный вариант из пяти предложенных. По сравнению с базовой Qwen2.5-0.5B без дообучения точность на валидации выросла с 38.4% до 87.05%, а на тестовом сплите LexGLUE модель набрала 85.92%, обогнав специализированные энкодеры вроде Legal-BERT и CaseLaw-BERT. Пригодится разработчикам юридических NLP-инструментов и исследователям, которым важна высокая точность при минимальных требованиях к железу.
Ключевые особенности
- Высокая точность на тесте: 85.92% (3 093 из 3 600 правильных ответов) на тестовой выборке LexGLUE против 75.4% у CaseLaw-BERT.
- Самописная реализация LoRA: адаптер написан вручную в
lora.py(~30 строк кода) без зависимости отpeft, но с нулевым расходованием логитов относительноpeft. - Сверхлёгкое обучение: обновлено всего 2 162 688 параметров (0.436% от модели), обучение заняло 62 минуты на ноутбучной RTX 4050 с пиком 4.3 GiB VRAM.
- Открытая лицензия: и адаптер, и базовая модель распространяются под Apache-2.0.
Что можно сделать
- Встроить в пайплайн автоматической проверки и сопоставления судебных прецедентов США с использованием базовой Qwen2.5-0.5B.
- Использовать минималистичную реализацию
lora.pyкак референс для собственного лёгкого инференса и обучения LoRA на чистом PyTorch без сторонних обёрток.
Пример
cfg = json.load(open(hf_hub_download(repo, "adapter_config.json")))
tok = AutoTokenizer.from_pretrained(cfg["base_model"])
model = AutoModelForCausalLM.from_pretrained(cfg["base_model"], dtype=torch.float32)
load_adapter(model, hf_hub_download(repo, "adapter.safetensors"), cfg["r"], cfg["alpha"]).eval()
question = {"context": "... () ...", "endings": ["holding that ...", "...", "...", "...", "..."]}
ids = torch.tensor([encode(question, tok, cfg["max_len"])])
probs = model.lm_head(model.model(input_ids=ids, use_cache=False).last_hidden_state[0, -1])[letter_ids(tok)].softmax(-1)
Подробнее
Бенчмарк CaseHOLD (LexGLUE test): 85.92% (3 093 из 3 600); валидация: 75.28% на 5k примеров, 80.33% на 15k, 87.05% на 45k.Обучение: 1 эпоха на 45 000 вопросов, r=16, alpha=32 (q/k/v/o во всех 24 слоях), AdamW, lr 2e-4, bf16, пик 4.3 GiB VRAM.
Ограничения: работает только с выбором из 5 вариантов (токены A–E), промпты длиннее 640 токенов обрезают контекст слева; обучена исключительно на прецедентном праве США и не является юридической консультацией.










Комментарии