К содержимому

Датасет · llm-blender

Сравнение ответов 11 инструктивных LLM на английском

llm-blender/mix-instruct

Корпус с вариантами ответов от разных языковых моделей, автоматическими метриками и оценками ChatGPT для обучения ранжированию.

Что внутри

Внутри находятся тексты на английском языке — по 11 вариантов ответов на инструкции от популярных LLM (Vicuna, Alpaca, Dolly, Flan-T5, ChatGLM и других). Объем датасета составляет от 100 тысяч до 1 миллиона записей. Для каждого ответа посчитаны метрики BLEU, ROUGE, BERTScore и BARTScore, а также добавлены результаты попарного сравнения с помощью ChatGPT.

Что можно сделать

  • Обучение reward-моделей и систем ранжирования ответов LLM (например, подхода LLM-Blender)
  • Дообучение моделей (SFT и выравнивание предпочтений) на лучших вариантах генерации
  • Сравнение качества генерации разных семейств языковых моделей
Задачи
Генерация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
981
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("llm-blender/mix-instruct")