Датасет•open-index/hacker-news
Все истории, комментарии, Ask HN, Show HN, вакансии и опросы Hacker News на английском.
- Генерация текста
- Эмбеддинги
- Классификация текста
- Английский
468 тыс. 57510M–100M записей
Датасет•secemp9/arxiv-completeИнтересное
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
- Генерация текста
- Поиск по текстам
- Английский
160,1 тыс. 799100M–1B записей
Датасет•google/xtreme
Мультиязычные пары для NLI и других задач: 112,5 тыс. размеченных пар на 14 языках.
- multiple choice
- Вопрос-ответ
- Разметка токенов
- af
- Арабский
- bg
- +9
31,4 тыс. 1191M–10M записей
Датасет•NousResearch/hermes-function-calling-v1
Диалоги для обучения LLM вызову функций, JSON-режиму и структурированному извлечению.
- Генерация текста
- Вопрос-ответ
- Эмбеддинги
- Английский
26,2 тыс. 51110K–100K записей
Датасет•scholarweave/arxiv-latexИнтересное
Полный корпус LaTeX-исходников arXiv, разобранный и выровненный с официальными метаданными в Parquet.
- Генерация текста
- Эмбеддинги
- Английский
20,4 тыс. 1501M–10M записей
Датасет•UCSC-VLAA/Recap-DataComp-1BИнтересное
Крупный image-text корпус DataComp-1B с улучшенными подписями от LLaVA-1.5-LLaMA3-8B.
- Zero-shot классификация
- Поиск по текстам
- Картинка → текст
15,2 тыс. 2131B–10B записей
Датасет•dell-research-harvard/newswire
2,7 млн статей американских новостных телеграмм 1878–1977 годов с геопривязкой, темами и сущностями.
- Классификация текста
- Генерация текста
- Поиск по текстам
- Английский
10,4 тыс. 941M–10M записей
Датасет•isaacus/open-australian-legal-corpusИнтересное
229 122 юридических документа Австралии на английском: законодательство и судебные акты.
- Генерация текста
- Заполнение пропусков
- Поиск по текстам
- Английский
6 тыс. 107100K–1M записей
Датасет•Hello-SimpleAI/HC3
Корпус ответов людей и ChatGPT на вопросы для сравнения и детекции текста.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
5,8 тыс. 24410K–100K записей
Датасет•maharshipandya/spotify-tracks-dataset
Табличные аудио-признаки треков Spotify из 125 жанров в CSV.
- Эмбеддинги
- Таблицы: классификация
- Таблицы: регрессия
- Английский
4,2 тыс. 140100K–1M записей
Датасет•Hello-SimpleAI/HC3-Chinese
Корпус текстов для сравнения ответов человека и ChatGPT; подходит для классификации и оценки сходства.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
2 тыс. 18610K–100K записей
Датасет•Brianferrell787/financial-news-multisource
Единый корпус из 24 публичных новостных датасетов: 57,1 млн строк с датой и текстом на английском.
- Классификация текста
- Поиск по текстам
- Другое
- Английский
1,7 тыс. 12110M–100M записей🔒 по запросу
Датасет•nvidia/embed-nemotron-dataset-v1Интересное
Мультиязычная компиляция датасетов для fine-tuning эмбеддингов под поиск, реранкинг, сходство и классификацию.
- Поиск по текстам
- text ranking
- Похожесть текстов
- Много языков
781 11310M–100M записей
Датасет•OpenGVLab/InternVid
10 млн видеоклипов с автоматически сгенерированными подписями и оценками UMT для видео-текстовых задач.
310 10110M–100M записей🔒 по запросу