К содержимому

Датасет · esdurmus

Мультиязычный датасет саммаризации статей WikiHow

esdurmus/wiki_lingua

Сотни тысяч пар «статья — краткое содержание» на нескольких языках для обучения и оценки систем реферирования.

Что внутри

Масштабный текстовый корпус объёмом от 100 тысяч до 1 миллиона примеров для задач кросс-языковой абстрактивной саммаризации. Данные извлечены из руководств WikiHow, написанных людьми, а выравнивание статей и выжимок между языками выполнено с помощью иллюстраций к шагам. В метаданных указаны английский, немецкий, французский, испанский, чешский и арабский языки (в карточке упоминаются 18 языков).

Что можно сделать

  • Обучение моделей абстрактивной и кросс-языковой саммаризации текстов
  • Оценка качества генерации кратких выжимок на разных языках
  • SFT-дообучение моделей на структурированных пошаговых инструкциях
Задачи
Суммаризация
Языки
Арабский, cs, Немецкий, Английский, Испанский, Французский, Хинди, Индонезийский и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
1,5 тыс.
Лайков
57

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("esdurmus/wiki_lingua")