Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Корпус проверенных статей Википедии на английском для обучения и оценки языковых моделей.
Крупный англоязычный веб-корпус с разбивкой по десяткам доменов и статистикой по итерациям для обучения и классификации.
8,5 тыс. разнообразных школьных математических задач с пошаговыми решениями для проверки рассуждений.
Англоязычный HTML-корпус MINT-1T: часть открытого мультимодального датасета на 1 трлн токенов и 3,4 млрд изображений.
Огромный очищенный корпус Common Crawl с вариантами en, realnewslike и многоязычным mC4.
Сборник задач и данных для обучения и оценки систем понимания английского текста.
7 787 научных вопросов с выбором ответа для проверки question-answering моделей.
Бенчмарк из вопросов с выбором ответа по 57 предметам на английском.
Все истории, комментарии, Ask HN, Show HN, вакансии и опросы Hacker News на английском.
1,3 трлн токенов отфильтрованных образовательных веб-страниц на английском для обучения LLM.
12 тыс. сложных вопросов по разным дисциплинам для строгой проверки LLM.
Более 18,5 трлн токенов очищенных и дедуплицированных англоязычных веб-текстов из CommonCrawl для обучения LLM.
Очищенные статьи Википедии на множестве языков, по одному train-сплиту на язык.
4 трлн токенов и 3 млрд документов для предобучения LLM; сильные результаты на бенчмарках.
Задания на выбор продолжения предложения для проверки здравого смысла у языковых моделей.
Набор сред для обучения LLM-агентов с проверками в коде, кибербезопасности, вебе и музыке.
Более 1,1 млн часов веб-аудио на 100+ языках для ASR, TTS и обучения аудиопредставлений.
Сборник из 50 тренировочных vision-language датасетов, использованных для fine-tuning Idefics2.
220 экспертных задач из 44 профессий с промптами и файлами для оценки ИИ на экономически значимых работах.
Около 1 000 Python-задач с описанием, решением и тестами для оценки генерации кода.
Набор сложных задач NLU — импликации, вопросы, кореференция — для оценки и сравнения языковых моделей.
Бенчмарк из 164 Python-задач с сигнатурами, докстрингами и юнит-тестами для проверки генерации кода.
Открытый мультиязычный корпус на 2,27 трлн токенов: книги, пресса, наука, законы и код.
Подвыборка из 500 математических задач бенчмарка MATH для проверки пошаговых рассуждений.