Датасет · ccdv
arXiv: суммаризация научных статей
ccdv/arxiv-summarization
Статьи arXiv и аннотации для обучения суммаризации длинных документов на английском.
Что внутри
Датасет для суммаризации длинных документов, адаптированный из отдельного репозитория. Он содержит статьи и аннотации; исходные данные были предварительно токенизированы, поэтому текст возвращается склейкой с переводами строк для абзацев. Совместим с run_summarization.py из Transformers, если добавить mapping ("article", "abstract"). Язык en, размер 100K–1M.
Что можно сделать
- Обучение суммаризации научных статей
- Fine-tune LLM или LoRA для аннотаций
- Оценка моделей на длинных документах
- Задачи
- Суммаризация, Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 8,5 тыс.
- Лайков
- 139
Модели, обученные на нём
- chopratejas/kompress-baseРазметка токенов 824
- JustinDu/BARTxivСуммаризация 115
- farleyknight-org-username/arxiv-summarization-t5-small 80
- UNIST-Eunchan/Research-Paper-Summarization-Pegasus-x-ArXivСуммаризация 33
- gabe-zhang/Llama-PaperSummarization-LoRAСуммаризация 27
- AdamCodd/distilbart-sum-arxiv 20
- LookUpMark/sigext-arxiv-en-allenai-1k-080tРазметка токенов 19
- Steblyanko/paper-summarizer-llama-3.2-1b-instruct-Q4KS-GGUFГенерация текста 18
Как загрузить
from datasets import load_dataset
ds = load_dataset("ccdv/arxiv-summarization")