longformer-large-4096-scrolls-qasper

Это Longformer-Large на 435M параметров (24 слоя, hidden 1024), дообученный для extractive question answering по научным публикациям. Модель обрабатывает до 4096 токенов за один проход и использует локальное sliding-window attention (w=512) вместе с global attention на токенах вопроса.

🔥 Ключевые особенности

• 🚀 Контекст до 4096 токенов — без обрезки длинных статей.
• 🧐 Линейная сложность O(n): local window 512 + global attention на вопросе.
• 👀 Обучена на SCROLLS QASper: вопросы к полным статьям arXiv и NLP-конференций.
• 👍 Extractive span head: плотная проекция из 768-мерного пространства в start/end logits.
• 🤖 BF16 и TF32 mixed precision, gradient checkpointing для Ampere/Hopper.

😎 Пример

from transformers import AutoTokenizer, LongformerForQuestionAnswering
model_name = "GiangSon-5/longformer-large-4096-scrolls-qasper"
tok = AutoTokenizer.from_pretrained(model_name)
model = LongformerForQuestionAnswering.from_pretrained(model_name)
inputs = tok(question + "\n\n" + context, max_length=4096, truncation=True, return_tensors="pt")
# global_attention_mask: 1 для вопроса и <s>, 0 для документа
outputs = model(**inputs, global_attention_mask=global_attention_mask)
start = outputs.start_logits.argmax(-1).item(); end = outputs.end_logits.argmax(-1).item()

Подробнее

База — allenai/longformer-large-4096; обучение на NVIDIA A100-SXM4-40GB, BF16 + TF32, AdamW, LR 2e-5.
Датасет: tau/scrolls, подмножество qasper; статьи в среднем 2500–4500 слов, поддержка вопросов без ответа.
Метрик и требований к VRAM в карточке нет; язык — английский, сценарий — экстрактивный QA по научным текстам.