Датасет · Open-Orca
Дедуплицированные инструкции без RLHF
Open-Orca/SlimOrca-Dedup
363 тыс. уникальных примеров инструкций без RLHF, очищенных от дублей для обучения генеративных моделей.
Что внутри
Это дедуплицированное и нефильтрованное подмножество SlimOrca: 363 тыс. уникальных примеров, из которых удалены RLHF-примеры. Дубли убраны методами minhash и Jaccard similarity. Демонстрационные модели обучались на полном SlimOrca, а не на этой версии.
Что можно сделать
- SFT-дообучение инструкционной LLM
- Обучение LoRA для question-answering
- Проверка text-generation на инструкциях
- Задачи
- Классификация текста, Вопрос-ответ, Генерация текста
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,6 тыс.
- Лайков
- 96
Модели, обученные на нём
- Felladrin/Llama-160M-Chat-v1Генерация текста 14 тыс.
- TheBloke/DiscoLM-70B-GGUFГенерация текста 2,8 тыс.
- TheBloke/una-cybertron-7B-v2-GGUF 2,2 тыс.
- mradermacher/Medichat-Llama3-8B-i1-GGUF 2,1 тыс.
- mradermacher/Ryeta-0-i1-GGUF 1,5 тыс.
- TheBloke/phi-2-orange-GGUF 912
- MaziyarPanahi/TinyMistral-248M-v2.5-Instruct-GGUFГенерация текста 883
- mradermacher/Ryeta-0-GGUF 792
Как загрузить
from datasets import load_dataset
ds = load_dataset("Open-Orca/SlimOrca-Dedup")