К содержимому

Датасет · AnalystAIlab

Примеры ошибок ИИ-ассистентов в бытовых задачах

AnalystAIlab/ai-assistant-failure-cases

Небольшая коллекция повседневных запросов, на которых популярные ИИ-ассистенты допустили показательные ошибки.

Что внутри

В репозитории менее 1 000 записей в текстовом и табличном форматах на английском языке, собранных проектом analyst.ai. Каждый кейс содержит реальный промпт из повседневной жизни, где пользовательский ИИ-ассистент ошибся (плюс один случай, где не ошибся никто). Авторы предупреждают, что выборка создана для демонстрации типов сбоев, а не для подсчёта общего рейтинга моделей.

Что можно сделать

  • Ручное тестирование и регрессионная проверка своих ИИ-ассистентов на сложных кейсах
  • Анализ типовых галлюцинаций и ошибок LLM в бытовых сценариях
  • Подготовка edge-case промптов для оценки надёжности моделей
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
212
Лайков
11

Как загрузить

from datasets import load_dataset

ds = load_dataset("AnalystAIlab/ai-assistant-failure-cases")