Датасет · Rowan
Тест HellaSwag на здравый смысл
Rowan/hellaswag
Задания на выбор продолжения предложения для проверки здравого смысла у языковых моделей.
Что внутри
Датасет для commonsense NLI на английском: по ситуации нужно выбрать правдоподобное продолжение. Опубликован на ACL 2019; по метаданным содержит от 10 тыс. до 100 тыс. примеров. В карточке указаны размеры файлов около 71,49 МБ и сгенерированного набора 65,32 МБ.
Что можно сделать
- Проверка commonsense reasoning у LLM
- Бенчмарк для NLI-моделей
- Оценка выбора продолжения текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 294,6 тыс.
- Лайков
- 213
Модели, обученные на нём
- mradermacher/Atomight-V2.2-0.5B-UltraThink-GGUF 683
- mradermacher/Atomight-V2.2-UltraThink-0.5B-GGUF 416
- usermma/Atomight-V2.2-0.5B-UltraThink-GGUF-mradermacher 318
- decision-tune/decisiontune-1.0Zero-shot классификация 262
- Danny-Dasilva/embeddinggemma-2-multimodal-typed-decisionZero-shot классификация 162
- whittleOrg/Whittle-Reflex-25B-A3BZero-shot классификация 120
- dawncr0w/CrowMuse-Glimmer-30B-HereticКартинка + текст 117
- xaskasdf/brandon-tiny-10m-instructГенерация текста 76
Как загрузить
from datasets import load_dataset
ds = load_dataset("Rowan/hellaswag")