Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Набор из 500 вредоносных инструкций на английском для проверки устойчивости языковых моделей к adversarial-атакам.
Крупный корпус кода на 600+ языках, сгруппированный по репозиториям, с версиями после дедупликации и фильтрации.
5 017 траекторий SWE-agent + Claude 3.7 Sonnet, на которых дообучали Qwen 2.5 Coder Instruct.
142 220 анимаций человеческого движения с текстовыми описаниями и разметкой для гуманоидной робототехники.
Китайские тексты для предобучения LLM: книги, интернет-тексты и Википедия.
Крупный мультимодальный instruction dataset от BAAI: изображения с вопросами и ответами на английском и китайском.
Код на многих языках программирования с permissive-лицензиями после near-дедупликации, около 1,5 ТБ.
Около 30 000 CUDA-ядер, сгенерированных агентом, с эталонными реализациями и метриками.
Задачи LeetCode на Python для обучения и оценки кодовых LLM; текст на английском, 1–10 тыс. примеров.
35 030 экспертных вопросов с выбором ответа по 45 предметам на корейском языке.
Человеческие переводы и пост-редактирование для 55 пар en→xx из бенчмарка WMT24++.
20 тыс. пар «задача — решение» по физике на английском, сгенерированных GPT-4.
Почти втрое больше высококачественных примеров, чем в v1, для обучения VLM вопросам по изображениям и видео.
Аудиозаписи высказываний с интентами банковского ассистента на нескольких языках.
Набор изображений и текстов для проверки устойчивости мультимодальных LLM к jailbreak-атакам.
81 444 изображения искусства с метками художника, жанра и стиля.
10K промптов из демо Vicuna с разметкой токсичности для классификации.
Англоязычный набор данных для предобучения LLM, ориентированный на высокое качество и эффективное масштабирование.
30 тыс. часов автотранскрибированной речи и очищенный набор на 22 тыс. часов для ASR на трёх языках.
Китайский корпус для обучения образовательных LLM: от предобучения до SFT.
513 млн примеров Aya Collection, разложенных по языкам для удобной загрузки одного или нескольких языков.
Около 270 млн китайских текстов из веба, книг и СМИ для предобучения языковых моделей.
Более 1M фраз на 51 языке с разметкой интентов и слотов для NLU в голосовых ассистентах.
Текстовые фрагменты PubMed на английском для медицинского Retrieval-Augmented Generation.