К содержимому

Датасет · tasksource

Типизированные решения из сотен задач Tasksource

tasksource/tasksource-jev-typed-decisions

Миллионы примеров классификации, выбора ответов, оценок и визуального рассуждения для мультизадачного обучения.

Что внутри

Внутри собрано от 1 до 10 миллионов примеров на английском и других языках, объединяющих текстовые и визуальные модальности. Данные представляют собой типизированные решения (классификация, множественный выбор, ранжированные оценки, вероятности и visual reasoning), полученные из разметки сотен задач коллекции Tasksource. В карточке отмечено, что исходный шум разметки и субъективные оценки сохранены, а загружать текстовую и визуальную части можно раздельно через библиотеку datasets.

Что можно сделать

  • Обучение и дообучение мультимодальных и языковых моделей на широкий спектр задач (zero-shot и text classification, QA)
  • Тренировка моделей следовать структурированным форматам вывода (вероятности, рейтинги, выбор варианта)
  • Оценка обобщающей способности моделей на разнообразных типах разметки
Задачи
Zero-shot классификация, Классификация текста, Вопрос-ответ, Разметка токенов
Языки
Английский, Много языков
Размер
1M–10M записей
Скачиваний за месяц
17,9 тыс.
Лайков
34

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tasksource/tasksource-jev-typed-decisions")