Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Английский датасет для распознавания именованных сущностей: люди, локации, организации и прочее.
Крупный открытый ASR-корпус: более 30 000 часов транскрибированной английской речи.
Форматированная версия DocVQA для однокликловой оценки больших мультимодальных моделей.
Изображения и текст на английском и китайском для обучения и оценки мультимодальных моделей.
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
Датасет для чтения и QA: 100 тыс. вопросов SQuAD 1.1 и 50 тыс. вопросов без ответа по статьям Wikipedia.
Более 28 тыс. отрывков и почти 100 тыс. вопросов с вариантами ответа из английских школьных экзаменов Китая.
Китайские образовательные тексты с оценками 2–3 из источников map-cc и opencsg-cc.
2 294 пары issue–pull request из Python-репозиториев для проверки решения GitHub-задач.
2 ГБ отфильтрованных коммитов с сообщениями, похожими на инструкции на естественном языке.
Видеокорпус на английском для обучения моделей отвечать на вопросы по видео.
1M–10M текстовых примеров в трёх подмножествах для среднего этапа, SFT и preference-обучения SmolLM3.
Крупный корпус видео, аудио и 3D о действиях человека для роботов и embodied AI.
Крупный мультиязычный бенчмарк для оценки code-LLM по исполнению программ, а не по совпадению текста.
Крупный мультидоменный корпус изображений и текста для 4D-моделирования мира и робототехники.
570 тыс. человеческих пар предложений на английском с метками entailment, contradiction и neutral.
Открытая копия WebText от OpenAI на английском — датасет, использованный для обучения GPT-2.
1 601 сцена автономного вождения по ~20 секунд в USDZ с картами XODR и поверхностной сеткой.
280+ часов синхронного видео с 1 800 камер для трекинга и 2D/3D-детекции.
Синтетические игровые спрайты 16×16 с английскими описаниями для обучения text-to-image моделей и LoRA.
Около 200 тыс. английских школьных задач по математике с ответами, сгенерированными GPT-4-Turbo.
2 млн изображений Stable Diffusion с промптами и гиперпараметрами реальных пользователей.
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
Небольшой англоязычный бенчмарк для оценки успешности джейлбрейков и защиты от них у LLM.