NewsSum V2 BART-base

Это BART-base на 0,14 млрд параметров, дообученный Muzammal Hussain для суммаризации англоязычных новостей BBC. Модель — seed-0 из исследования NewsSum V2, где сравнивают extractive-бейзлайны, файнтюны трансформеров и небольшую LLM.

⚙ Ключевые особенности

• ⚙ Полный файнтюн BART-base на BBC News Summary: 1 449 статей для обучения, по 311 для валидации и теста.
• 🌐 Только английский; данные — BBC за 2004–2005 годы, пять тем.
• 🎯 На 311 тестовых статьях: ROUGE-1 69.3, ROUGE-2 59.7, ROUGE-L 48.4, ROUGE-Lsum 68.4, BERTScore 55.1.
• 🧊 Веса в fp16; есть квантованная ONNX-копия q8 для запуска в браузере через Transformers.js.
• 🛑 Референсы в датасете на 94,8% дословно скопированы из статей, поэтому модель училась выбирать и копировать предложения, а не писать краткие абстрактные пересказы.

💡 Пример

from transformers import pipeline

summarise = pipeline('summarization', model='MHkhan50/newssum-bart-base-bbc')
print(summarise(article, num_beams=4, max_new_tokens=320, no_repeat_ngram_size=3)[0]['summary_text'])

Подробнее

Средний ROUGE-Lsum по трём seed — 67,8 ± 1,3.
Обучение: AdamW, lr 5e-5, batch 8, fp16 на NVIDIA T4; вход до 1024 токенов, выход до 320.
Ограничения: узкий домен BBC 2004–2005, без человеческой оценки; length-matched TextRank на этом датасете набирает выше — 82,9 ROUGE-Lsum.