Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 103, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
35 030 экспертных вопросов с выбором ответа по 45 предметам на корейском языке.
Человеческие переводы и пост-редактирование для 55 пар en→xx из бенчмарка WMT24++.
Набор изображений и текстов для проверки устойчивости мультимодальных LLM к jailbreak-атакам.
Текстовые фрагменты PubMed на английском для медицинского Retrieval-Augmented Generation.
347K математических задач и 7M сгенерированных моделями траекторий рассуждений на английском.
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
Малый набор текстов для расчёта importance matrix при квантовании моделей.
4 146 примеров 3D-сцен Three.js с промптами, thinking traces и готовым HTML/JavaScript-кодом.
Бинаризованные предпочтения для DPO на основе Capybara: многоходовые диалоги для обучения чат-моделей.
4.8M мультимодальных GPT4-Vision-описаний видео для LVLM и text-to-video моделей.
Высококачественный поднабор инструкций из веб-форумов для обучения LLM.
1,7 млн открытых трасс агентов из 219 наборов: код, shell, математика и работа с компьютером.
Размеченные обращения в поддержку на английском для дообучения LLM-чатботов.
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
Большой многоязычный корпус из Common Crawl, очищенный для обучения языковых моделей.
Выровненные книги на нескольких языках для обучения и проверки переводческих моделей.
Статьи arXiv и аннотации для обучения суммаризации длинных документов на английском.
Задачи многодневного планирования поездок и покупок с проверяемыми ограничениями для оценки LLM-агентов.
1 585 статей NLP и 5 049 вопросов читателей с ответами практиков — для обучения и оценки QA.
2556 запросов с доказательствами в 2–4 документах для проверки retrieval и рассуждений в RAG.
Задачи для RL-обучения небольших моделей-оркестраторов инструментов и агентов.
133 млрд токенов математики и кода из Common Crawl для предобучения LLM.
Пары инструкция–ответ по программированию, дополненные GPT-4 для обучения код-ассистентов.
Крупный английский веб-корпус из Common Crawl, отфильтрованный слой L1 для обучения языковых моделей.