Датасет · LiquidAI
Бенчмарк структурного вывода JSON/YAML
LiquidAI/ifstruct-v1.0
1–10 тыс. примеров для проверки, соблюдает ли модель заданную схему JSON/YAML при разных формулировках запроса.
Что внутри
IFStruct v1.0 — бенчмарк на соблюдение структуры вывода: модель должна выдать валидный JSON/YAML по запрошенной схеме. Требования сформулированы так, как их пишут реальные пользователи. Оценка идёт без constrained decoding и проверяет только структуру, а не качество содержимого, извлечение или рассуждения. Язык — английский, размер — от 1 до 10 тыс. примеров.
Что можно сделать
- Оценка моделей на structured output compliance
- Проверка JSON/YAML-схем без constrained decoding
- Сравнение промптов для генерации валидного JSON
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 985
- Лайков
- 114
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("LiquidAI/ifstruct-v1.0")