Датасет · llm-blender
Сравнение ответов 11 инструктивных LLM на английском
llm-blender/mix-instruct
Корпус с вариантами ответов от разных языковых моделей, автоматическими метриками и оценками ChatGPT для обучения ранжированию.
Что внутри
Внутри находятся тексты на английском языке — по 11 вариантов ответов на инструкции от популярных LLM (Vicuna, Alpaca, Dolly, Flan-T5, ChatGLM и других). Объем датасета составляет от 100 тысяч до 1 миллиона записей. Для каждого ответа посчитаны метрики BLEU, ROUGE, BERTScore и BARTScore, а также добавлены результаты попарного сравнения с помощью ChatGPT.
Что можно сделать
- Обучение reward-моделей и систем ранжирования ответов LLM (например, подхода LLM-Blender)
- Дообучение моделей (SFT и выравнивание предпочтений) на лучших вариантах генерации
- Сравнение качества генерации разных семейств языковых моделей
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 981
- Лайков
- 38
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("llm-blender/mix-instruct")