Датасет · google
Бенчмарк следования инструкциям IFEval
google/IFEval
Около 500 проверяемых инструкций для оценки того, насколько LLM следует явным ограничениям.
Что внутри
Набор промптов из бенчмарка Instruction-Following Eval (IFEval) для больших языковых моделей. Содержит около 500 «проверяемых инструкций», например требование написать больше 400 слов или упомянуть AI минимум три раза. Проверка выполнения основана на эвристиках. Язык — английский.
Что можно сделать
- Оценить LLM на следование инструкциям
- Сравнить базовую и дообученную модель
- Проверить LoRA после SFT
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 186,9 тыс.
- Лайков
- 187
Модели, обученные на нём
- mradermacher/Nova-Qwen2.5-14B-Secure-Coder-GGUF 1,2 тыс.
- Lautloserspieler/Nova-Qwen2.5-14B-Secure-CoderГенерация текста 659
- rico03/Qwopus-GLM-9B-DualReason-Distilled-GGUFГенерация текста 322
- veritiana-ai/prompt-task-complexity-classifierКлассификация текста 12
- moro72842/Sovereign-Hardened-V1 0
- Dhruv1000/qwen35-logra-ifbenchОбучение с подкреплением 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/IFEval")