Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Код на многих языках программирования с permissive-лицензиями после near-дедупликации, около 1,5 ТБ.
Задачи LeetCode на Python для обучения и оценки кодовых LLM; текст на английском, 1–10 тыс. примеров.
35 030 экспертных вопросов с выбором ответа по 45 предметам на корейском языке.
Человеческие переводы и пост-редактирование для 55 пар en→xx из бенчмарка WMT24++.
20 тыс. пар «задача — решение» по физике на английском, сгенерированных GPT-4.
Набор изображений и текстов для проверки устойчивости мультимодальных LLM к jailbreak-атакам.
Англоязычный набор данных для предобучения LLM, ориентированный на высокое качество и эффективное масштабирование.
Китайский корпус для обучения образовательных LLM: от предобучения до SFT.
Текстовые фрагменты PubMed на английском для медицинского Retrieval-Augmented Generation.
347K математических задач и 7M сгенерированных моделями траекторий рассуждений на английском.
22,7 млн транскриптов 2,06 млн YouTube-видео с CC-BY на шести языках, почти 45 млрд слов.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
1,35 млн профессионально размеченных пар «статья — краткое резюме» BBC на 45 языках, включая малоресурсные.
Большой английский корпус правовых и административных документов для предобучения.
Малый набор текстов для расчёта importance matrix при квантовании моделей.
4 146 примеров 3D-сцен Three.js с промптами, thinking traces и готовым HTML/JavaScript-кодом.
Бинаризованные предпочтения для DPO на основе Capybara: многоходовые диалоги для обучения чат-моделей.
Коллекция профессиональных переводов на 221 низкоресурсный язык для обучения переводческих моделей.
Синтетические одно- и многоходовые траектории вызова инструментов для обучения агентных LLM.
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
Высококачественный поднабор инструкций из веб-форумов для обучения LLM.
1,7 млн открытых трасс агентов из 219 наборов: код, shell, математика и работа с компьютером.
Размеченные обращения в поддержку на английском для дообучения LLM-чатботов.
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.