Датасет · elyza
Японский бенчмарк инструкций на 100 задач
elyza/ELYZA-tasks-100
100 японских заданий с оценкой для проверки instruction-моделей.
Что внутри
Датасет содержит 100 японских примеров со сложными инструкциями и задачами для оценки instruction-tuning моделей. Для каждого примера размечены критерии оценки, чтобы снизить разброс судейских оценок. Встречаются задачи на исправление резюме, извлечение уроков, сложную арифметику, перевод с неизвестного языка и генерацию диалогов.
Что можно сделать
- Оценивать японские instruction-модели
- Сравнивать модели на сложных инструкциях
- Проверять LLM-судью по размеченным критериям
- Языки
- Японский
- Размер
- до 1K записей
- Скачиваний за месяц
- 2,1 тыс.
- Лайков
- 103
Модели, обученные на нём
- zapabobouj/AEGIS-v2.5-SO8T-Quadrality-imatrixГенерация текста 51
- hiroki-rad/llm-jp-llm-jp-3-13b-16-ftГенерация текста 46
- hiroki-rad/bert-base-classification-ftКлассификация текста 17
- fathom-llm/checkpoint-2000 4
- Guchyos/gemma-2b-elyza-taskГенерация текста 0
- ultimatemagic79/lora_gemma_9b 0
- tokutsu/llm-jp-3-13b-it 0
- takumi0616/llm-jp-3-13b-finetune-v6 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("elyza/ELYZA-tasks-100")