Датасет · shahules786
Очищенный ORCA для чат-дообучения
shahules786/orca-chat
100 тыс.–1 млн диалоговых примеров на основе ORCA: очищено, сокращено и кластеризовано для чат-моделей.
Что внутри
ORCA-Chat — переработанная версия ORCA в формате диалогов. Авторы убрали тривиальные примеры длиннее 4k токенов, сократили число повторяющихся инструкций и кластеризовали данные. Это должно снижать избыточность и время вычислений при дообучении чат-моделей. Текстовый датасет, размер — от 100 тыс. до 1 млн примеров.
Что можно сделать
- SFT чат-моделей на объяснительных диалогах
- Дообучение моделей с контекстом до 4k токенов
- Сравнение с исходным ORCA по качеству и compute
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 152
- Лайков
- 114
Модели, обученные на нём
- TheBloke/OpenAssistant-Llama2-13B-Orca-8K-3319-GGUFГенерация текста 2,6 тыс.
- mradermacher/dulia-13b-8k-alpha-i1-GGUF 2,1 тыс.
- mradermacher/airophin-v2-13b-PI-8k-fp16-i1-GGUF 486
- OpenAssistant/llama2-13b-orca-8k-3319Генерация текста 363
- mradermacher/Giraffe-13b-32k-v3-GGUF 295
- mradermacher/dulia-13b-8k-alpha-GGUF 288
- mradermacher/airophin-v2-13b-PI-8k-fp16-GGUF 144
- TheBloke/OpenAssistant-Llama2-13B-Orca-8K-3319-GPTQГенерация текста 141
Как загрузить
from datasets import load_dataset
ds = load_dataset("shahules786/orca-chat")