Бенчмарк типизированных вероятностных решений

Что внутри

Набор для оценки типизированных вероятностных решений. Модель получает один фрагмент неструктурированного состояния и одновременно отвечает на пять типизированных вопросов; каждый ответ — распределение вероятностей, а не один класс. Схема следует примитивам System One (noul, choice, score) от TypeSafe AI, строка воспроизводится через API с такой формой. Бенчмарк независим от TypeSafe и не воспроизводит их модель Jev; язык — английский, размер — 1–10 тыс. записей.

Что можно сделать

• Проверить LLM на вероятностных типизированных решениях
• Оценить API-совместимость со схемой System One
• Сравнить модели в text-classification с распределениями

Модели, обученные на нём

• bartowski/frontier-infra_jebadiah-9b-v2-GGUFКартинка + текст 6,3 тыс.
• mrm8488/embeddinggemma-2-ft-typed-decisionКлассификация текста 1,9 тыс.
• mradermacher/jebadiah-9b-v2-GGUF 1,6 тыс.
• manjunathshiva/opendecider-nanoZero-shot классификация 1,2 тыс.
• mradermacher/lazydecider-0.8b-GGUF 1,2 тыс.

Как загрузить

from datasets import load_dataset

ds = load_dataset("LocalLLaMA/typed-decisions")