Infinity-Instruct: крупный набор инструкций

Что внутри

Infinity-Instruct от BAAI — крупный датасет инструкций для text-generation на английском и китайском. Объём — от 10 до 100 млн примеров; в карточке подчёркнута важность качества и масштаба инструкционных данных. Формат — tabular и text.

Что можно сделать

• SFT большой instruct-модели на миллионах примеров
• Дообучение LoRA для английского и китайского ассистента
• Оценка устойчивости модели к разным типам инструкций

Модели, обученные на нём

• BAAI/Infinity-Instruct-7M-Gen-Llama3_1-8B 17,1 тыс.
• BAAI/Infinity-Instruct-3M-0625-Llama3-8BГенерация текста 9,2 тыс.
• BAAI/Infinity-Instruct-3M-0625-Yi-1.5-9BГенерация текста 9,2 тыс.
• Zyphra/Zamba2-1.2B-instructГенерация текста 7,2 тыс.
• richinfoai/ritrieve_zh_v1Похожесть текстов 2,6 тыс.

Как загрузить

from datasets import load_dataset

ds = load_dataset("BAAI/Infinity-Instruct")