Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Бенчмарк MRC с вопросами и 4 вариантами ответа на 122 языковых вариантах, включая малоресурсные.
Открытый математический датасет на английском объёмом более 300 млрд токенов для предобучения языковых моделей.
Огромный очищенный корпус по STEM, математике, коду и reasoning на английском и китайском.
Крупнейший набор схем и PCB: исходники, изображения, метаданные и связанные файлы плат.
5 млн примеров для SFT кодовых LLM: разнообразные инструкции на английском от NVIDIA.
Отфильтрованное по качеству подмножество FineWeb2 на 20 языках для более быстрого предобучения языковых моделей.
1–10 млрд текстов на английском и китайском после пайплайна проверки качества.
15 тыс. записей instruction-following на английском в категориях InstructGPT для дообучения и проверки моделей.
Медицинские исследовательские вопросы с ответами yes/no/maybe по abstracts статей PubMed.
10 тыс. инструкций и ответов от людей для SFT, чтобы модели лучше следовали командам.
Набор инструкций OSS-Instruct, сгенерированный GPT-3.5-turbo-1106 для задач генерации кода.
Датасет для чтения и QA: 100 тыс. вопросов SQuAD 1.1 и 50 тыс. вопросов без ответа по статьям Wikipedia.
Более 28 тыс. отрывков и почти 100 тыс. вопросов с вариантами ответа из английских школьных экзаменов Китая.
Открытая копия WebText от OpenAI на английском — датасет, использованный для обучения GPT-2.
Около 200 тыс. английских школьных задач по математике с ответами, сгенерированными GPT-4-Turbo.
Бенчмарк математического рассуждения по изображениям: IQTest, FunctionQA и PaperQA; языки en, zh, fa.
Англоязычный QA-бенчмарк: реальные вопросы, для ответа нужно прочитать статью Wikipedia.
1,2 млн строк открытых данных для обучения моделей рассуждению; третья версия OpenThoughts.
162 задачи на английском для оценки юридического рассуждения LLM: классификация и ответы на вопросы.
Реальные многоязычные беседы пользователей с ChatGPT с демографией и метаданными запросов.
Вопросы с изображениями и текстом по разным дисциплинам для проверки мультимодального понимания.
Обработанный UltraFeedback: 64 тыс. промптов с ответами моделей и оценками GPT-4, сведёнными в пары предпочтений.
Мультимодальный английский датасет научных вопросов с вариантами ответов и изображениями.
Набор юридических текстовых задач для оценки понимания языка моделями на английском.