Датасет · zai-org
Длинные инструкции для alignment LLM
zai-org/LongAlign-10k
10 тыс. длинных инструкций 8–64K токенов на en/zh для обучения и оценки long-context LLM.
Что внутри
Датасет LongAlign-10k содержит 10 000 длинных инструкций длиной 8k–64k токенов на английском и китайском. Это часть рецепта LongAlign для alignment LLM на длинном контексте; в карточке также упомянуты стратегии packing и sorted batching и бенчмарк LongBench-Chat. Формат в метаданных не указан.
Что можно сделать
- SFT для long-context LLM
- Проверка на LongBench-Chat
- LoRA для длинных инструкций
- Задачи
- Вопрос-ответ
- Языки
- Английский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 100
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("zai-org/LongAlign-10k")