Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Бинаризованные предпочтения для DPO на основе Capybara: многоходовые диалоги для обучения чат-моделей.
40 тысяч строк из пьес Шекспира для обучения посимвольных и небольших языковых моделей.
Предварительно разобранные статьи английской и французской Википедии в структурированном виде.
15 млн пар «изображение — текст» на английском для обучения и проверки открытых мультимодальных моделей.
Коллекция профессиональных переводов на 221 низкоресурсный язык для обучения переводческих моделей.
Синтетические одно- и многоходовые траектории вызова инструментов для обучения агентных LLM.
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
Высококачественный поднабор инструкций из веб-форумов для обучения LLM.
1,7 млн открытых трасс агентов из 219 наборов: код, shell, математика и работа с компьютером.
Около 5 тыс. английских предложений из финансовой сферы с метками positive, negative или neutral.
Размеченные обращения в поддержку на английском для дообучения LLM-чатботов.
Крупная коллекция image-centric данных для обучения и проверки vision-language моделей; поднаборы в JSONL с описанием.
Около 250 млн эмбеддингов параграфов Википедии для семантического поиска и RAG.
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
Большой многоязычный корпус из Common Crawl, очищенный для обучения языковых моделей.
Выровненные книги на нескольких языках для обучения и проверки переводческих моделей.
Статьи arXiv и аннотации для обучения суммаризации длинных документов на английском.
Задачи многодневного планирования поездок и покупок с проверяемыми ограничениями для оценки LLM-агентов.
1 585 статей NLP и 5 049 вопросов читателей с ответами практиков — для обучения и оценки QA.
2,6 млн запросов с ответами-рассуждениями от DeepSeek-R1-0528 на английском и китайском.
2556 запросов с доказательствами в 2–4 документах для проверки retrieval и рассуждений в RAG.
Посттренировочные SFT и RL данные NVIDIA для математики, кода, общих рассуждений и следования инструкциям.
Очищенная версия Common Crawl на английском; размер — от 100 млн до 1 млрд единиц.
Задачи для RL-обучения небольших моделей-оркестраторов инструментов и агентов.