XLL Acts Qwen3.5-9B
файнтюн для структурного анализа текстов федеральных актов
2 мин чтенияобновлено
Экспериментальный чекпоинт на базе модели Qwen/Qwen3.5-9B (9.41 млрд параметров), обученный на федеральных актах США для задач структурирования текстов. Модель обучена принимать на вход проиндексированный текст документов и выводить результаты в соответствии с системным промптом и контрактом вывода. Не является производственной сборкой и не гарантирует юридическую или семантическую точность. Подойдет исследователям, работающим с разбором длинных официальных и юридических документов.
Ключевые особенности
- Базируется на свежей модели Qwen3.5-9B с поддержкой контекста до 32 768 токенов.
- Прошла обучение на 3 900 федеральных актах, развернутых в 10 960 чат-презентаций (2 эпохи, 5 480 обновлений оптимизатора).
- Обучение велось с использованием потерь только для завершения (completion-only loss) и сфокусировано на структурной разметке.
- Загружается в нативном FP32 формате с возможностью BF16 каста при инференсе, без использования дополнительных адаптеров или квантования.
Что можно сделать
- Применять для экспериментов по структурированию и разбору объемных текстовых документов и официальных актов.
- Запускать пайплайны обработки текста с использованием библиотеки transformers и чат-шаблонов модели.
- Тестировать работу модели с индексированными текстовыми последовательностями в рамках заданного контекста.
Пример
import json, re
from pathlib import Path
import torch
from huggingface_hub import HfApi, hf_hub_download
from transformers import AutoTokenizer, AutoModelForImageTextToText
repo = "thurstonpowers/xll-acts-qwen3.5-9b"
revision = HfApi().model_info(repo, revision="acts-20261118").sha
system = Path(hf_hub_download(repo, "PROMPT_TRAINED.txt", revision=revision)).read_text()
raw = Path("act.txt").read_bytes().decode("utf-8")
parts = [f'{m.start()}:{m.end()}|{json.dumps(m.group(), ensure_ascii=True)}'
for m in re.finditer(r'\s+|\w+|[^\w\s]', raw) if m.group().strip(' ')]
indexed = f"Document type: acts. Text length: {len(raw)} Unicode characters.\n" + "\n".join(parts)
tokenizer = AutoTokenizer.from_pretrained(repo, revision=revision, trust_remote_code=False)
ids = tokenizer.apply_chat_template([
{"role": "system", "content": system}, {"role": "user", "content": indexed}],
tokenize=True, add_generation_prompt=True, enable_thinking=False, return_dict=False)
max_new_tokens = 16384
if len(ids) + max_new_tokens > 32768:
raise ValueError("Whole input plus output reserve exceeds trained context; do not truncate")
model = AutoModelForImageTextToText.from_pretrained(repo, revision=revision,
dtype=torch.bfloat16, attn_implementation="sdpa", trust_remote_code=False).to("cuda").eval()
input_ids = torch.tensor([ids], device="cuda")
with torch.inference_mode():
result = model.generate(input_ids=input_ids, attention_mask=torch.ones_like(input_ids),
max_new_tokens=max_new_tokens, do_sample=False, use_cache=True,
pad_token_id=tokenizer.pad_token_id or tokenizer.eos_token_id)
text = tokenizer.decode(result[0, len(ids):], skip_special_tokens=True)
prediction = json.loads(text)
Подробнее
Бенчмарк на 200 актах (100 CT + 100 федеральных): 143/200 (71.5%) дали структурировано-валидное дерево, 55 — невалидный вывод, 2 — ограничение генерации.Тестирование проводилось на RTX 5090 с BF16, batch one, greedy, flash SDP (context 65 536 токенов, до 16 384 выходных токенов).
Обучение выполнено на базе библиотеки transformers 5.15.1 и PyTorch 2.13.0+cu130.
Распространяется под лицензией Apache-2.0.










Комментарии