Датасет · laion
Большой набор инструкций OIG
laion/OIG
Крупный корпус пар «инструкция — ответ» среднего качества плюс меньший высококачественный набор.
Что внутри
OIG — попытка собрать большой набор инструкций среднего качества и отдельный меньший набор OIG-small-chip2 с более качественными примерами. Данные лежат в JSONL-объектах: как минимум есть поле text, иногда metadata. В text записаны одна или несколько пар в формате <human>: инструкция и <bot>: ответ. Объём — от 10 до 100 млн примеров.
Что можно сделать
- Обучить инструкционную модель на SFT
- Дообучить LoRA для следования инструкциям
- Проверить фильтры качества и дедупликацию
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,6 тыс.
- Лайков
- 320
Модели, обученные на нём
- ltg/normistral-7b-warm-instructГенерация текста 3 тыс.
- WestCode1357/gpt-sw3-6.7b-v2-instruct 935
- timpal0l/gpt-sw3-356m-instruct 568
- FlameF0X/Qwen2-0.2B-itГенерация текста 416
- pythainlp/wangchanglm-7.5B-sft-enthГенерация текста 148
- cmarkea/bloomz-560m-sft-chatГенерация текста 141
- cmarkea/bloomz-3b-sft-chatГенерация текста 138
- cmarkea/bloomz-7b1-mt-sft-chatГенерация текста 131
Как загрузить
from datasets import load_dataset
ds = load_dataset("laion/OIG")