Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
5 017 траекторий SWE-agent + Claude 3.7 Sonnet, на которых дообучали Qwen 2.5 Coder Instruct.
Китайские тексты для предобучения LLM: книги, интернет-тексты и Википедия.
Код на многих языках программирования с permissive-лицензиями после near-дедупликации, около 1,5 ТБ.
Около 30 000 CUDA-ядер, сгенерированных агентом, с эталонными реализациями и метриками.
Задачи LeetCode на Python для обучения и оценки кодовых LLM; текст на английском, 1–10 тыс. примеров.
35 030 экспертных вопросов с выбором ответа по 45 предметам на корейском языке.
Человеческие переводы и пост-редактирование для 55 пар en→xx из бенчмарка WMT24++.
Почти втрое больше высококачественных примеров, чем в v1, для обучения VLM вопросам по изображениям и видео.
Аудиозаписи высказываний с интентами банковского ассистента на нескольких языках.
Набор изображений и текстов для проверки устойчивости мультимодальных LLM к jailbreak-атакам.
10K промптов из демо Vicuna с разметкой токсичности для классификации.
30 тыс. часов автотранскрибированной речи и очищенный набор на 22 тыс. часов для ASR на трёх языках.
513 млн примеров Aya Collection, разложенных по языкам для удобной загрузки одного или нескольких языков.
Текстовые фрагменты PubMed на английском для медицинского Retrieval-Augmented Generation.
~3,3 млн веб-изображений с подписями из alt-текста для обучения image-to-text.
HTML-страницы со скриншотами и инструкциями для обучения веб-агентов выполнять задачи на сайтах.
347K математических задач и 7M сгенерированных моделями траекторий рассуждений на английском.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
10K–100K пар предпочтений для DPO — переработанная версия Intel Orca DPO Pairs.
10K–100K задач математических соревнований с полными пошаговыми решениями для обучения рассуждениям.
Текстовый набор для первой стадии SFT OpenCoder — обучения кодовой языковой модели по инструкциям.
418 тыс. задач, 580 тыс. решений с рассуждениями и тесты для обучения код-моделей.
Открытый китайский датасет предобучения объёмом 800 млрд токенов для NLP-сообщества.
2 000+ открытых заданий с 137 сайтов для обучения и оценки универсальных веб-агентов.