Датасет · izumi-lab
Японские инструкции для дообучения LLM
izumi-lab/llm-japanese-dataset
Крупный набор японских инструкций и чат-ответов для LoRA-тюнинга языковых моделей.
Что внутри
Датасет японских инструкций и чат-ответов для построения LLM. Его можно использовать для тюнинга моделей, в основном созданных на английском, на задачах чата и ответов на инструкции через LoRA. Данные собраны из разных публичных языковых ресурсов; в обновлениях убрали Alpaca из-за смены лицензии на NC, почистили Wikipedia summary и обновили Asian Language Treebank. Язык — японский, размер — от 1 млн до 10 млн записей.
Что можно сделать
- LoRA/SFT для японского чата
- Дообучение instruction-following LLM на японском
- Оценка японского instruction tuning
- Языки
- Японский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 532
- Лайков
- 148
Модели, обученные на нём
- mradermacher/youri-7b-instruction-i1-GGUF 4,2 тыс.
- mradermacher/youri-7b-chat-GGUF 1,6 тыс.
- mradermacher/nekomata-14b-instruction-i1-GGUF 1,4 тыс.
- mradermacher/youri-7b-chat-i1-GGUF 1,3 тыс.
- mradermacher/nekomata-7b-instruction-i1-GGUF 1,2 тыс.
- mradermacher/youri-7b-instruction-GGUF 1,2 тыс.
- sbintuitions/sarashina-embedding-v1-1bПохожесть текстов 569
- mradermacher/nekomata-7b-instruction-GGUF 332
Как загрузить
from datasets import load_dataset
ds = load_dataset("izumi-lab/llm-japanese-dataset")