Датасет•ai4privacy/pii-masking-300k
300 тыс. текстов на 6 языках с разметкой PII для обучения моделей удаления персональных данных.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
- Французский
- Немецкий
- +3
4,2 тыс. 119100K–1M записей
Датасет•ai4privacy/pii-masking-200k
Тексты с персональными данными на английском, французском, немецком и итальянском для обучения privacy masking.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
- Французский
- Немецкий
- +1
3,9 тыс. 132100K–1M записей
Датасет•gretelai/synthetic_pii_finance_multilingual
Синтетические финансовые документы на шести языках с разметкой персональных данных для обучения NER.
- Классификация текста
- Заполнение пропусков
- Разметка токенов
- Английский
- Французский
- Немецкий
- +3
3,7 тыс. 8310K–100K записей
Датасет•Abirate/english_quotes
Цитаты на английском из Goodreads для multi-label классификации и генерации текста.
- Классификация текста
- Английский
3,3 тыс. 1101K–10K записей
Датасет•Open-Orca/SlimOrca
Около 500 тыс. GPT-4-ответов, отфильтрованных по аннотациям FLAN, для обучения инструкционных моделей.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
3 тыс. 310100K–1M записей
Датасет•kaist-ai/CoT-Collection
От 1 до 10 млн англоязычных примеров с цепочками рассуждений для генерации и классификации.
- Генерация текста
- Классификация текста
- Английский
2,7 тыс. 1721M–10M записей
Датасет•Necent/llm-jailbreak-prompt-injection-dataset
Мультиязычный набор для обучения фильтров безопасности LLM: джейлбрейки и инъекции.
- Классификация текста
- Английский
- Китайский
- Арабский
- +9
2,7 тыс. 901M–10M записей🔒 по запросу
Датасет•b3x0m/Chinese-H-Novels
Крупный корпус китайских романов 18+ для языковых и классификационных задач.
- Классификация текста
- Суммаризация
- Разметка токенов
- Китайский
2,5 тыс. 257100M–1B записей
Датасет•data-is-better-together/10k_prompts_ranked
10 331 промпт с оценками качества от сообщества — для обучения и проверки ранжирования промптов.
- Классификация текста
- Генерация текста
- Обучение с подкреплением
- Английский
2,4 тыс. 17910K–100K записей
Датасет•AdaptLLM/finance-tasks
Наборы для оценки доменной адаптации LLM в финансах из статьи ICLR 2024.
- Классификация текста
- Вопрос-ответ
- Zero-shot классификация
- Английский
2,4 тыс. 8510K–100K записей
Датасет•rubend18/ChatGPT-Jailbreak-Prompts
Небольшой набор джейлбрейк-промптов ChatGPT для изучения обхода ограничений.
- Вопрос-ответ
- Генерация текста
- Заполнение пропусков
- Английский
- aa
2,2 тыс. 303до 1K записей
Датасет•LEXam-Benchmark/LEXamИнтересное
340 юридических экзаменов из Швейцарии, ЕС и международного права для проверки reasoning-моделей.
- Классификация текста
- Генерация текста
- Английский
- Немецкий
2,1 тыс. 811K–10K записей
Датасет•WNT3D/Ultimate-Offensive-Red-Team
Англоязычные тексты по offensive security, red team и пентесту для обучения и проверки моделей.
- Генерация текста
- Вопрос-ответ
- Классификация текста
- Английский
2,1 тыс. 18510K–100K записей
Датасет•Hello-SimpleAI/HC3-Chinese
Корпус текстов для сравнения ответов человека и ChatGPT; подходит для классификации и оценки сходства.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
2 тыс. 18610K–100K записей
Датасет•zzliang/GRIT
Крупный корпус пар изображение-текст, где фразы из подписи привязаны к соответствующим областям картинки.
- Текст → картинка
- Картинка → текст
- Детекция объектов
- Английский
2 тыс. 16910M–100M записей
Датасет•Brianferrell787/financial-news-multisource
Единый корпус из 24 публичных новостных датасетов: 57,1 млн строк с датой и текстом на английском.
- Классификация текста
- Поиск по текстам
- Другое
- Английский
1,7 тыс. 12110M–100M записей🔒 по запросу
Датасет•Open-Orca/SlimOrca-Dedup
363 тыс. уникальных примеров инструкций без RLHF, очищенных от дублей для обучения генеративных моделей.
- Классификация текста
- Вопрос-ответ
- Генерация текста
1,6 тыс. 96100K–1M записей
Датасет•shibing624/sharegpt_gpt4
Отобранные многораундовые диалоги GPT-4 на китайском, английском и других языках.
- Классификация текста
- Генерация текста
- Китайский
- Английский
- gl
- +1
1,6 тыс. 139100K–1M записей
Датасет•saidutta69/fable-5-premium
Очищенный SFT-датасет на английском из трасс агента Claude Fable-5, 12 730 записей.
- Генерация текста
- Разметка токенов
- Английский
1,3 тыс. 13510K–100K записей
Датасет•allenai/prosocial-dialog
100K+ многоходовых диалогов на английском для обучения безопасных собеседников.
- Классификация текста
- Английский
1,1 тыс. 119100K–1M записей
Датасет•prometheus-eval/Feedback-Collection
Тексты с фидбеком на английском, чтобы научить открытую LLM тонко оценивать длинные ответы.
- Генерация текста
- Классификация текста
- Английский
892 12110K–100K записей
Датасет•LocalLaws/LOCUS-v1
Корпус фрагментов муниципального и окружного права США с метками юридической функции и темы.
- Классификация текста
- Английский
831 991M–10M записей
Датасет•JanosAudran/financial-reports-sec
Годовые отчёты 10-K компаний США, разбитые на разделы и предложения, с метками тональности.
- Заполнение пропусков
- Классификация текста
- Английский
785 7810M–100M записей
Датасет•nvidia/embed-nemotron-dataset-v1Интересное
Мультиязычная компиляция датасетов для fine-tuning эмбеддингов под поиск, реранкинг, сходство и классификацию.
- Поиск по текстам
- text ranking
- Похожесть текстов
- Много языков
781 11310M–100M записей