Датасет · kmfoda
Книги и пересказы для длинной суммаризации
kmfoda/booksum
Коллекция для суммаризации длинных повествовательных текстов: книги и их пересказы.
Что внутри
BOOKSUM — набор данных для длинной нарративной суммаризации. В карточке сказано, что это коллекция датасетов; обычные короткие корпуса не покрывают дальние причинно-временные связи и стилевые смещения. Модальности — табличные данные и текст, размер — 10–100 тыс. примеров. Язык и формат в приведённом фрагменте не указаны.
Что можно сделать
- Обучить модель суммаризации книг
- Проверить LLM на длинных пересказах
- Дообучить LoRA для chapter-level summary
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,4 тыс.
- Лайков
- 80
Модели, обученные на нём
- cnicu/t5-small-booksumСуммаризация 18,2 тыс.
- pszemraj/led-large-book-summaryСуммаризация 4,4 тыс.
- mradermacher/airoboros-l2-13b-2.1-PI-16k-fp16-i1-GGUF 718
- pszemraj/led-base-book-summaryСуммаризация 414
- pszemraj/long-t5-tglobal-base-16384-book-summaryСуммаризация 374
- Aobangaming/lightning-105mГенерация текста 354
- Aobangaming/lightning-60mГенерация текста 294
- emozilla/LLongMA-2-13b-storysummarizerГенерация текста 153
Как загрузить
from datasets import load_dataset
ds = load_dataset("kmfoda/booksum")