К содержимому

Датасет · argilla

Альфа-выборка OpenHermes 2.5 для DPO-выравнивания

argilla/OpenHermes2.5-dpo-binarized-alpha

Тестовый набор пар предпочтений на базе OpenHermes 2.5 для настройки LLM методом DPO без использования проприетарных моделей.

Что внутри

Это ранняя альфа-версия датасета (от 1 000 до 10 000 примеров), собранная командой Argilla с помощью инструмента distilabel поверх популярного набора OpenHermes-2.5. Вместо закрытых моделей OpenAI для оценки и выбора лучших ответов здесь использовалась открытая модель PairRM. Данные подготовлены в формате, совместимом со стандартом ChatML.

Что можно сделать

  • Тестирование пайплайнов выравнивания языковых моделей (DPO) в формате ChatML
  • Эксперименты с открытым стеком оценки предпочтений (PairRM + distilabel)
  • Быстрая отладка SFT/DPO-обучения на небольшом объеме диалогов
Размер
1K–10K записей
Скачиваний за месяц
105
Лайков
64

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("argilla/OpenHermes2.5-dpo-binarized-alpha")