TruthfulQA: бенчмарк правдивости LLM
817 вопросов в 38 категориях для проверки того, насколько модель говорит правду.
- multiple choice
- Генерация текста
- Вопрос-ответ
- Английский
Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
817 вопросов в 38 категориях для проверки того, насколько модель говорит правду.
4 000+ часов аудио и видео личных взаимодействий более 4 000 участников для AI-исследований.
Набор весов и вспомогательных файлов для расширения ReActor: замена лиц и восстановление изображений.
Открытый крупный набор RF-сэмплов и метаданных медицинского УЗИ в формате zea для обучения и оценки моделей.
10 000 реалистичных интерьерных 3D-сцен с 565 тыс. объектов для обучения и проверки embodied AI.
500 пар issue–pull request из Python-репозиториев для проверки решения GitHub-задач по unit-тестам.
Более миллиона новостных заметок из 2000+ источников с тематической разметкой — для классификации текстов.
Крупный корпус исходного кода на десятках языков программирования с permissive-лицензиями.
Крупный корпус выровненной парламентской речи на 22 европейских языках для ASR и TTS.
Набор цветных изображений 32×32 для классификации в 100 классах и 20 суперклассах, 50 тыс. train и 10 тыс. test.
12 102 англоязычных вопроса с четырьмя вариантами ответа для проверки commonsense-рассуждений.
Видео и текстовые пары для обучения и проверки моделей видео-вопрос-ответ.
Крупный очищенный датасет из 103,8 млн пар изображение-текст для обучения text-to-image.
Крупный набор видеороликов с английскими описаниями для обучения генерации видео.
Бенчмарк на физический здравый смысл: вопросы с двумя вариантами ответа на английском.
13 948 вопросов с выбором ответа по 52 дисциплинам для оценки китайских foundation-моделей.
14 млн пар «задача — решение» по математике, сгенерированных Llama 3.1 405B для инструктивного дообучения.
220 тыс. задач по математике с проверенными трассами рассуждений от DeepSeek R1.
Около 1000 часов начитанных английских аудиокниг с текстом для обучения и проверки ASR.
Экспертные вопросы с выбором ответа по биологии, физике и химии для проверки сложного научного reasoning.
Аудиофрагменты и подписи с YouTube для обучения и проверки ASR-систем.
Коллекция английских NLP-датасетов с шаблонами промптов для входа и цели.
Бенчмарк по мультимодальному пониманию и reasoning: вопросы с изображениями из многих дисциплин.
5,5 тыс. задач анализа данных: таблица, вопрос и эталонный ответ.