Датасет · IlyaGusev
Русскоязычные новости с краткими пересказами
IlyaGusev/gazeta
Корпус статей с сайта «Газета.Ru» и их аннотаций для обучения и оценки моделей суммаризации.
Что внутри
Датасет содержит от 10 до 100 тысяч новостных текстов на русском языке с сайта «Газета.Ru» и их краткие пересказы. Аннотации были извлечены из HTML-тега description и прошли дополнительный отбор качества. Существуют две версии этого набора данных.
Что можно сделать
- Обучение и SFT моделей автоматического реферирования на русском языке
- Оценка качества суммаризации на стандартном русском бенчмарке
- Генерация заголовков и лидов для новостных текстов
- Задачи
- Суммаризация
- Языки
- Русский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 4,6 тыс.
- Лайков
- 31
Модели, обученные на нём
- deepvk/USER2-baseПохожесть текстов 1,1 млн
- deepvk/USER-bge-m3Похожесть текстов 403,5 тыс.
- sergeyzh/rubert-tiny-turboПохожесть текстов 46,2 тыс.
- d0rj/rut5-base-summСуммаризация 29,9 тыс.
- deepvk/USER-baseПохожесть текстов 29,4 тыс.
- sergeyzh/rubert-tiny-liteПохожесть текстов 24,2 тыс.
- deepvk/USER2-smallПохожесть текстов 12,1 тыс.
- sergeyzh/rubert-mini-fridaПохожесть текстов 9,5 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("IlyaGusev/gazeta")