Датасет · argilla
Альфа-выборка OpenHermes 2.5 для DPO-выравнивания
argilla/OpenHermes2.5-dpo-binarized-alpha
Тестовый набор пар предпочтений на базе OpenHermes 2.5 для настройки LLM методом DPO без использования проприетарных моделей.
Что внутри
Это ранняя альфа-версия датасета (от 1 000 до 10 000 примеров), собранная командой Argilla с помощью инструмента distilabel поверх популярного набора OpenHermes-2.5. Вместо закрытых моделей OpenAI для оценки и выбора лучших ответов здесь использовалась открытая модель PairRM. Данные подготовлены в формате, совместимом со стандартом ChatML.
Что можно сделать
- Тестирование пайплайнов выравнивания языковых моделей (DPO) в формате ChatML
- Эксперименты с открытым стеком оценки предпочтений (PairRM + distilabel)
- Быстрая отладка SFT/DPO-обучения на небольшом объеме диалогов
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 105
- Лайков
- 64
Модели, обученные на нём
- kalisai/Nusantara-2.7b-Indo-ChatГенерация текста 843
- mradermacher/AlphaMonarch-laser-i1-GGUF 831
- mradermacher/dpo-binarized-NeuralTrix-7B-i1-GGUF 816
- frankenmerger/MiniLlama-1.8b-Chat-v0.1Генерация текста 714
- mradermacher/NeuralReyna-Mini-1.8B-v0.3-i1-GGUF 650
- mradermacher/dpo-binarized-NeuralTrix-7B-GGUF 502
- mradermacher/AlphaMonarch-dora-GGUF 385
- mradermacher/dpo-binarized-NeutrixOmnibe-7B-i1-GGUF 293
Как загрузить
from datasets import load_dataset
ds = load_dataset("argilla/OpenHermes2.5-dpo-binarized-alpha")