Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
114 тыс. примеров рассуждений по математике, науке, коду и головоломкам для обучения LLM.
817 вопросов в 38 категориях для проверки того, насколько модель говорит правду.
500 пар issue–pull request из Python-репозиториев для проверки решения GitHub-задач по unit-тестам.
Более миллиона новостных заметок из 2000+ источников с тематической разметкой — для классификации текстов.
Крупный корпус исходного кода на десятках языков программирования с permissive-лицензиями.
Крупный корпус выровненной парламентской речи на 22 европейских языках для ASR и TTS.
12 102 англоязычных вопроса с четырьмя вариантами ответа для проверки commonsense-рассуждений.
Видео и текстовые пары для обучения и проверки моделей видео-вопрос-ответ.
13 948 вопросов с выбором ответа по 52 дисциплинам для оценки китайских foundation-моделей.
14 млн пар «задача — решение» по математике, сгенерированных Llama 3.1 405B для инструктивного дообучения.
220 тыс. задач по математике с проверенными трассами рассуждений от DeepSeek R1.
Около 1000 часов начитанных английских аудиокниг с текстом для обучения и проверки ASR.
Экспертные вопросы с выбором ответа по биологии, физике и химии для проверки сложного научного reasoning.
Коллекция английских NLP-датасетов с шаблонами промптов для входа и цели.
Бенчмарк по мультимодальному пониманию и reasoning: вопросы с изображениями из многих дисциплин.
5,5 тыс. задач анализа данных: таблица, вопрос и эталонный ответ.
113 тыс. пар вопрос-ответ по Википедии с опорными фактами для ответа по нескольким документам.
Англо-китайский открытый корпус для предобучения языковых моделей, по карточке — 4,69 трлн токенов.
650K+ троек вопрос-ответ-доказательство для чтения и QA на английском.
Очень большой многоязычный корпус NVIDIA для претрейна LLM с математикой, кодом и Q&A.
52 тыс. инструкций и демонстраций от text-davinci-003 для instruction-tuning языковых моделей.
Крупнейший открытый корпус текстов из PDF: 3 трлн токенов, 475 млн документов и 1733 языка.
200 тыс. отфильтрованных диалогов на английском, использованных для обучения Zephyr-7B-β.
Свыше 300 тыс. английских новостных статей CNN и Daily Mail для extractive и abstractive суммаризации.