citation-extractor-fast
экспериментальный извлекатель юридических цитат
2 min readupdated
Модель от thurstonpowers на базе nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 (3,97 млрд параметров), дообученная full-weight fine-tuning за одну эпоху. Извлекает из юридических документов текст цитат, их тип и предсказывает смещения в исходном тексте. Язык — английский.
Ключевые особенности
- Возвращает JSON-массив объектов
{quote, start, end, kind}; повторные вхождения идут отдельными записями. - Обучена на 8 015 федеральных примерах с teacher-consensus silver labels: один epoch, 2 004 optimizer updates, LR 5e-6.
- Смещения zero-based по Unicode codepoint,
endexclusive, ноstart/endненадёжны — проверяйтеraw[start:end] == quote. - На eval200 exact quote recognition F1 — 44,23% (44,55% с timeout retries) против 1,31% у untrained Nemotron и 23,18% у GPT-6.1 Sol.
- Только 150/200 документов дали валидный JSON; 31 output-cap failure и 19 timeouts; смещения требуют downstream alignment.
Пример
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
repo = "thurstonpowers/citation-extractor-fast"
tok = AutoTokenizer.from_pretrained(repo, trust_remote_code=False)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, trust_remote_code=False).to("cuda").eval()
msgs = [{"role":"system","content":prompt},{"role":"user","content":raw}]
rendered = tok.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True, enable_thinking=False)
inputs = tok(rendered, add_special_tokens=False, return_tensors="pt").to("cuda")
Подробнее
Exact quote recognition F1: 44,23% (44,55% с retry), precision 72,63%, recall 31,79% на 200 федеральных документах.Только 150/200 документов дали валидный JSON; 31 output-cap failure и 19 timeouts в оригинальном прогоне.
Нужны BF16-совместимые GPU и нативные Mamba/causal-convolution kernels; тестировали Transformers 5.15.1.
Смещения start/end ненадёжны — проверяйте
raw[start:end] == quote; полное извлечение пока нестабильно.









Comments