Датасет•flytech/python-codes-25k
Очищенный набор из ~25 тыс. Python-инструкций с input/output для обучения и проверки кодовых моделей.
- Классификация текста
- Вопрос-ответ
- Разметка токенов
8,6 тыс. 19310K–100K записей
Датасет•zeroshot/twitter-financial-news-sentiment
Англоязычные финансовые твиты с разметкой на медвежий, бычий и нейтральный сентимент.
- Классификация текста
- Английский
7,4 тыс. 19310K–100K записей
Датасет•nvidia/Nemotron-PII
100 тыс. английских записей с разметкой 55+ категорий PII/PHI для обучения детекции персональных данных.
- Разметка токенов
- Английский
7,3 тыс. 130100K–1M записей
Датасет•jackhhao/jailbreak-classification
Промпты LLM с метками jailbreak или benign для обучения детекторов вредных запросов.
- Классификация текста
- Английский
7,3 тыс. 1051K–10K записей
Датасет•lmarena-ai/arena-human-preference-55k
55 тыс. реальных диалогов и оценок предпочтений между более чем 70 LLM в парных битвах.
- Классификация текста
- Английский
7,2 тыс. 16910K–100K записей
Датасет•PentesterFlow/OffsecCyber
Англоязычные диалоги ассистента о софтверных уязвимостях, CVE, CWE, исправлениях и web-appsec.
- Генерация текста
- Классификация текста
- Английский
7,2 тыс. 9210K–100K записей
Датасет•li2017dailydialog/daily_dialog
Многоходовые бытовые диалоги на английском с метками эмоций и коммуникативных намерений для диалоговых систем.
- Классификация текста
- Английский
6,7 тыс. 17310K–100K записей
Датасет•klue/klue
8 задач NLU на корейском для оценки языковых моделей: от NER и NLI до MRC и DST.
- Заполнение пропусков
- Вопрос-ответ
- Классификация текста
- Корейский
6,4 тыс. 99100K–1M записей
Датасет•Hello-SimpleAI/HC3
Корпус ответов людей и ChatGPT на вопросы для сравнения и детекции текста.
- Классификация текста
- Вопрос-ответ
- Похожесть текстов
- Английский
- Китайский
5,8 тыс. 24410K–100K записей
Датасет•proj-persona/PersonaHubИнтересное
Коллекция персон для генерации разнообразных синтетических текстов и инструкций.
- Генерация текста
- Классификация текста
- Разметка токенов
- Английский
- Китайский
5,1 тыс. 831100K–1M записей
Датасет•kakaobrain/coyo-700m
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
- Текст → картинка
- Картинка → текст
- Zero-shot классификация
- Английский
4,9 тыс. 177100M–1B записей
Датасет•ZefanCai/Open-Jev
Наборы задач, где по состоянию и вопросу нужно дать типизированное решение: да/нет, класс, число.
- Классификация текста
- Английский
- Китайский
- Турецкий
4,3 тыс. 116100K–1M записей
Датасет•ai4privacy/pii-masking-300k
300 тыс. текстов на 6 языках с разметкой PII для обучения моделей удаления персональных данных.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
- Французский
- Немецкий
- +3
4,2 тыс. 119100K–1M записей
Датасет•ai4privacy/pii-masking-200k
Тексты с персональными данными на английском, французском, немецком и итальянском для обучения privacy masking.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
- Французский
- Немецкий
- +1
3,9 тыс. 132100K–1M записей
Датасет•gretelai/synthetic_pii_finance_multilingual
Синтетические финансовые документы на шести языках с разметкой персональных данных для обучения NER.
- Классификация текста
- Заполнение пропусков
- Разметка токенов
- Английский
- Французский
- Немецкий
- +3
3,7 тыс. 8310K–100K записей
Датасет•Abirate/english_quotes
Цитаты на английском из Goodreads для multi-label классификации и генерации текста.
- Классификация текста
- Английский
3,3 тыс. 1101K–10K записей
Датасет•Ujjwal-Tyagi/ai-ml-foundations-book-collection
Подборка англоязычных книг по AI, ML, DL, RL, трансформерам и LLM для структурированного изучения.
- Генерация текста
- Классификация текста
- Вопрос-ответ
- Английский
3,1 тыс. 92до 1K записей
Датасет•Open-Orca/SlimOrca
Около 500 тыс. GPT-4-ответов, отфильтрованных по аннотациям FLAN, для обучения инструкционных моделей.
- Классификация текста
- Разметка токенов
- Вопросы по таблицам
- Английский
3 тыс. 310100K–1M записей
Датасет•kaist-ai/CoT-Collection
От 1 до 10 млн англоязычных примеров с цепочками рассуждений для генерации и классификации.
- Генерация текста
- Классификация текста
- Английский
2,7 тыс. 1721M–10M записей
Датасет•Necent/llm-jailbreak-prompt-injection-dataset
Мультиязычный набор для обучения фильтров безопасности LLM: джейлбрейки и инъекции.
- Классификация текста
- Английский
- Китайский
- Арабский
- +9
2,7 тыс. 901M–10M записей🔒 по запросу
Датасет•b3x0m/Chinese-H-Novels
Крупный корпус китайских романов 18+ для языковых и классификационных задач.
- Классификация текста
- Суммаризация
- Разметка токенов
- Китайский
2,5 тыс. 257100M–1B записей
Датасет•data-is-better-together/10k_prompts_ranked
10 331 промпт с оценками качества от сообщества — для обучения и проверки ранжирования промптов.
- Классификация текста
- Генерация текста
- Обучение с подкреплением
- Английский
2,4 тыс. 17910K–100K записей
Датасет•AdaptLLM/finance-tasks
Наборы для оценки доменной адаптации LLM в финансах из статьи ICLR 2024.
- Классификация текста
- Вопрос-ответ
- Zero-shot классификация
- Английский
2,4 тыс. 8510K–100K записей
Датасет•rubend18/ChatGPT-Jailbreak-Prompts
Небольшой набор джейлбрейк-промптов ChatGPT для изучения обхода ограничений.
- Вопрос-ответ
- Генерация текста
- Заполнение пропусков
- Английский
- aa
2,2 тыс. 303до 1K записей