Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 220, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Англоязычный датасет question-answering для систем генерации кода с улучшением.
80 тыс. пар предпочтений для reward-моделей, очищенных от пересечений с RewardBench.
Пары картинок и подписей с одинаковыми словами в разном порядке для проверки vision-language моделей.
Крупный корпус кода на английском и японском для обучения и дообучения языковых моделей.
Около 3,5 млн пар инструкция–ответ на китайском от проекта BELLE.
Обработанная версия Flan V2 для более простого доступа к файлам инструкций.
30 тыс. триплетов из реальных клинических заметок, синтетических диалогов и структурированных данных.
Датасет HISTAI-breast для исследователей: доступ выдаётся по запросу, состав не описан.
999 847 персон с 1 290 категориальными признаками для генерации и анализа персонажей.
Около 7,86 млн строк китайских диалогов (183 млн токенов) из R18-визуальных новелл.
Пары предпочтений для DPO, чтобы ответы LLM были более разговорными и вовлекающими.
Почти дедуплицированная версия The Stack v2 — крупный корпус кода для обучения LLM, сгруппированный по репозиториям.
Текстовые QA-примеры с синтетическими рассуждениями от Claude, без ручной проверки.
Около 4,5 млн синтетических примеров FLANv2 с ответами GPT-4 и GPT-3.5 для инструкционной настройки.
Датасет для role-playing LLM: подлинные многоходовые диалоги нескольких персонажей из 771 известного романа.
Единый корпус из 24 публичных новостных датасетов: 57,1 млн строк с датой и текстом на английском.
400 тыс. серых изображений документов в 16 классах для обучения и проверки классификаторов.
Аудиокорпус lofi-музыки на 7000+ часов с текстовыми промптами, сгенерированный MusicGen Large.
44,4 млрд токенов высококачественного синтетического текста на английском, отфильтрованного моделью.
200 тыс. китайских пар инструкция–ответ для выравнивания и обучения языковых моделей.
10–100 млн примеров OCR: полные транскрипции страниц в Markdown с LaTeX и HTML-таблицами для обучения end-to-end OCR.
Датасет для object detection в моде: изображения с масками сегментации и экспертной онтологией одежды.
363 тыс. уникальных примеров инструкций без RLHF, очищенных от дублей для обучения генеративных моделей.
Отобранные многораундовые диалоги GPT-4 на китайском, английском и других языках.