Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Большой многоязычный корпус из Common Crawl, очищенный для обучения языковых моделей.
Выровненные книги на нескольких языках для обучения и проверки переводческих моделей.
Статьи arXiv и аннотации для обучения суммаризации длинных документов на английском.
Задачи многодневного планирования поездок и покупок с проверяемыми ограничениями для оценки LLM-агентов.
1 585 статей NLP и 5 049 вопросов читателей с ответами практиков — для обучения и оценки QA.
2,6 млн запросов с ответами-рассуждениями от DeepSeek-R1-0528 на английском и китайском.
2556 запросов с доказательствами в 2–4 документах для проверки retrieval и рассуждений в RAG.
Очищенная версия Common Crawl на английском; размер — от 100 млн до 1 млрд единиц.
Задачи для RL-обучения небольших моделей-оркестраторов инструментов и агентов.
133 млрд токенов математики и кода из Common Crawl для предобучения LLM.
Пары инструкция–ответ по программированию, дополненные GPT-4 для обучения код-ассистентов.
Крупный английский веб-корпус из Common Crawl, отфильтрованный слой L1 для обучения языковых моделей.
1,25 млн текстовых примеров из открытых источников для обучения и проверки научного reasoning.
13 460 английских диалогов с суммаризацией для обучения и оценки моделей.
78 577 примеров запросов на естественном языке, SQL CREATE TABLE и SQL-запросов для text-to-SQL.
Синтетические пары вопрос-ответ с цепочками рассуждений на общие темы, не только математика и код.
Корпус очищенных полных текстов Wikisource на десятках языков для обучения и оценки языковых моделей.
Новостные статьи и краткие изложения от редакторов newser.com для обучения суммаризации.
4 млн примеров SFT для математических и кодовых рассуждений; ответы сгенерированы DeepSeek-R1.
1 тыс. примеров рассуждений на испанском, французском, итальянском и немецком, переведённых с английского.
Курируемая база ДНК со всех доменов жизни для обучения геномных моделей.
Крупный набор синтетических персон по реальным демографическим распределениям Кореи.
Англоязычные диалоги ассистента о софтверных уязвимостях, CVE, CWE, исправлениях и web-appsec.
Крупный китайский корпус для предобучения; версия V2 помечена как устаревшая.