Датасет•open-index/hacker-news
Все истории, комментарии, Ask HN, Show HN, вакансии и опросы Hacker News на английском.
- Генерация текста
- Эмбеддинги
- Классификация текста
- Английский
468 тыс. 57510M–100M записей
Датасет•secemp9/arxiv-completeИнтересное
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
- Генерация текста
- Поиск по текстам
- Английский
160,1 тыс. 799100M–1B записей
Датасет•jasperai/monetИнтересное
Крупный очищенный датасет из 103,8 млн пар изображение-текст для обучения text-to-image.
- Текст → картинка
- image feature extraction
- zero shot image classification
- Английский
109,4 тыс. 193100M–1B записей
Датасет•NTU-NLP-sg/xCodeEval
Крупный мультиязычный бенчмарк для оценки code-LLM по исполнению программ, а не по совпадению текста.
- Перевод
- Разметка токенов
- Поиск по текстам
- Код
- Английский
42,7 тыс. 851M–10M записей
Датасет•MahmoodLab/hestИнтересное
1 276 профилей пространственной транскриптомики, выровненных с изображениями целых срезов, для мультимодальных задач.
- Классификация картинок
- Эмбеддинги
- Сегментация
- Английский
34 тыс. 140100B–1T записей🔒 по запросу
Датасет•google/xtreme
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
- multiple choice
- Вопрос-ответ
- Разметка токенов
- af
- Арабский
- bg
- +9
31,4 тыс. 1191M–10M записей
Датасет•xlangai/BRIGHT
Текстовый retrieval-бенчмарк на запросах из StackExchange, LeetCode и математических соревнований.
- Поиск по текстам
- Английский
26,9 тыс. 811M–10M записей
Датасет•NousResearch/hermes-function-calling-v1
Диалоги для обучения LLM вызову функций, JSON-режиму и структурированному извлечению.
- Генерация текста
- Вопрос-ответ
- Эмбеддинги
- Английский
26,2 тыс. 51110K–100K записей
Датасет•dell-research-harvard/AmericanStories
Структурированные тексты исторических газет на английском для предобучения LLM и RAG.
- Классификация текста
- Генерация текста
- Поиск по текстам
- Английский
23,1 тыс. 184100M–1B записей
Датасет•FOMO-MRI/FOMO300KИнтересное
306 207 сканов 3D-МРТ мозга с клиническими данными для self-supervised learning.
- image feature extraction
- Zero-shot классификация
22,3 тыс. 122100K–1M записей🔒 по запросу
Датасет•scholarweave/arxiv-latexИнтересное
Полный корпус LaTeX-исходников arXiv, разобранный и выровненный с официальными метаданными в Parquet.
- Генерация текста
- Эмбеддинги
- Английский
20,4 тыс. 1501M–10M записей
Датасет•miracl/miracl
Многоязычный корпус для поиска: коллекции документов, темы запросов и qrels на 18 языках.
- Поиск по текстам
- Арабский
- bn
- Английский
- +9
16,5 тыс. 87
Датасет•UCSC-VLAA/Recap-DataComp-1BИнтересное
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
- Zero-shot классификация
- Поиск по текстам
- Картинка → текст
15,2 тыс. 2131B–10B записей
Датасет•dell-research-harvard/newswire
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
- Классификация текста
- Генерация текста
- Поиск по текстам
- Английский
10,4 тыс. 941M–10M записей
Датасет•ScienceOne-AI/S1-MMAlign
24,17 млн пар изображение-текст из 3,01 млн открытых научных статей на английском.
- Картинка → текст
- Вопросы по картинкам
- Эмбеддинги
- Английский
6 тыс. 10710M–100M записей
Датасет•isaacus/open-australian-legal-corpusИнтересное
229 122 юридических документа Австралии на английском: законодательство и судебные акты.
- Генерация текста
- Заполнение пропусков
- Поиск по текстам
- Английский
6 тыс. 107100K–1M записей
Датасет•Hello-SimpleAI/HC3
Корпус ответов людей и ChatGPT на вопросы для сравнения и детекции текста.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
5,8 тыс. 24410K–100K записей
Датасет•maharshipandya/spotify-tracks-dataset
Табличные аудио-признаки треков Spotify из 125 жанров в CSV.
- Эмбеддинги
- Таблицы: классификация
- Таблицы: регрессия
- Английский
4,2 тыс. 140100K–1M записей
Датасет•sentence-transformers/embedding-training-data
Наборы обучающих примеров в jsonl.gz для тренировки моделей текстовых эмбеддингов, в том числе через sentence-transformers.
3,9 тыс. 145
Датасет•Ujjwal-Tyagi/ai-ml-foundations-book-collection
Подборка англоязычных книг по AI, ML, DL, RL, трансформерам и LLM для структурированного изучения.
- Генерация текста
- Классификация текста
- Вопрос-ответ
- Английский
3,1 тыс. 92до 1K записей
Датасет•Shitao/MLDR
Датасет для поиска по длинным документам на 13 языках, вопросы сгенерированы GPT-3.5.
- Поиск по текстам
- Арабский
- Немецкий
- Английский
- +9
2,2 тыс. 83
Датасет•Hello-SimpleAI/HC3-Chinese
Корпус текстов для сравнения ответов человека и ChatGPT; подходит для классификации и оценки сходства.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
2 тыс. 18610K–100K записей
Датасет•Brianferrell787/financial-news-multisource
Единый корпус из 24 публичных новостных датасетов: 57,1 млн строк с датой и текстом на английском.
- Классификация текста
- Поиск по текстам
- Другое
- Английский
1,7 тыс. 12110M–100M записей🔒 по запросу
Датасет•arxiv-community/arxiv_dataset
Корпус из 1,7 млн статей arXiv на английском для рекомендаций, анализа трендов и семантического поиска.
- Перевод
- Суммаризация
- Поиск по текстам
- Английский
1,1 тыс. 1381M–10M записей