Датасет · OpenAssistant
Многоязычный корпус диалогов OASST1
OpenAssistant/oasst1
161 тыс. сообщений на 35 языках с оценками качества и деревьями диалогов для обучения ассистентов.
Что внутри
OASST1 — человеческий корпус ассистентских диалогов: 161 443 сообщения на 35 языках с 461 292 оценками качества. В нём более 10 000 полностью аннотированных деревьев диалогов; данные собраны краудсорсингом по всему миру. В метаданных указаны модальности tabular и text.
Что можно сделать
- дообучение ассистентских моделей в SFT
- обучение reward-модели для RLHF
- оценка качества ответов ассистента
- Языки
- Английский, Испанский, Русский, Немецкий, Польский, Тайский, Вьетнамский, sv и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 37,5 тыс.
- Лайков
- 1,6 тыс.
Модели, обученные на нём
- TheBloke/CodeLlama-13B-oasst-sft-v10-GGUF 9,5 тыс.
- sileod/deberta-v3-base-tasksource-nliZero-shot классификация 8,5 тыс.
- TheBloke/Llama2-70B-OASST-SFT-v10-GGUFГенерация текста 4,3 тыс.
- mradermacher/archangel_sft-kto_llama30b-i1-GGUF 4,1 тыс.
- ltg/normistral-7b-warm-instructГенерация текста 3 тыс.
- TheBloke/Llama-2-70B-OASST-1-200-GGUF 2,4 тыс.
- davanstrien/chat_topicsКлассификация текста 2,4 тыс.
- mradermacher/Aitana-7B-S-Instruct-i1-GGUFГенерация текста 2,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenAssistant/oasst1")