Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный корпус пар изображение-текст, где фразы из подписи привязаны к соответствующим областям картинки.
45K text-to-image и 46K text+image-to-image примеров для обучения мультимодальных моделей.
110 тыс. китайских примеров с ответами R1, собранных в поле output для обучения SFT.
Небольшая выборка пар изображение–LaTeX для обучения OCR математических формул.
Около 800 тыс. многотуровых диалогов на китайском от проекта BELLE, сгенерированных ChatGPT без строгой проверки.
Инструкции и ответы GPT-4 без отказов и дисклеймеров OpenAI для SFT.
Аудио и текст на вьетнамском для обучения многоголосого синтеза речи.
Китайский текстовый корпус Zhihu для обучения Open Assistant; от 1 до 10 млн примеров.
Табличные и текстовые инструкции для обучения LLM автономно выполнять задачи data science.
Открытые медицинские вопросы с эталонными ответами из сложных экзаменов для проверки рассуждений LLM.
Медицинские задачи с цепочками рассуждений R1 для дообучения моделей.
1,06 млн траекторий (state, action, next_state) с реальных сайтов для обучения браузерных world-моделей.
Англоязычный датасет question-answering для систем генерации кода с улучшением.
Пары картинок и подписей с одинаковыми словами в разном порядке для проверки vision-language моделей.
Крупный корпус кода на английском и японском для обучения и дообучения языковых моделей.
Около 3,5 млн пар инструкция–ответ на китайском от проекта BELLE.
Обработанная версия Flan V2 для более простого доступа к файлам инструкций.
30 тыс. триплетов из реальных клинических заметок, синтетических диалогов и структурированных данных.
999 847 персон с 1 290 категориальными признаками для генерации и анализа персонажей.
Пары предпочтений для DPO, чтобы ответы LLM были более разговорными и вовлекающими.
Почти дедуплицированная версия The Stack v2 — крупный корпус кода для обучения LLM, сгруппированный по репозиториям.
Текстовые QA-примеры с синтетическими рассуждениями от Claude, без ручной проверки.
Около 4,5 млн синтетических примеров FLANv2 с ответами GPT-4 и GPT-3.5 для инструкционной настройки.
Единый корпус из 24 публичных новостных датасетов: 57,1 млн строк с датой и текстом на английском.