Granary: речь и перевод на 25 языках
Крупный открытый речевой датасет на 25 европейских языках для ASR и перевода речи.
- Распознавание речи
- Перевод
- bg
- cs
- da
- +9
Датасеты с Hugging Face с описанием на русском: что внутри и какие модели на них обучить. В каталоге уже 1 085, новые добавляются каждый час.
Отвечает DeepSeek · переписка хранится только в этой вкладке
Крупный открытый речевой датасет на 25 европейских языках для ASR и перевода речи.
4 006 сырых трасс агента с ответами DeepSeek v4 Pro и снапшотом схемы инструментов для SFT.
Чистый посекционный корпус на арабском и английском для предобучения небольшой LLM.
Параллельные тексты для оценки перевода с английского на множество языков, включая низкоресурсные.
100 тыс. RAG-примеров из пяти отраслевых доменов для оценки и обучения retrieval-augmented систем.
Крупный корпус пар alt-текст и изображение из HTML для обучения мультимодальных моделей.
Анкеты и оценки предпочтений людей к ответам LLM для preference и value alignment.
1 225 запросов для проверки языковых агентов в многошаговом планировании поездок с ограничениями.
3,3 тыс. экспертных парных предпочтений для ответов шести моделей на 80 вопросов MT-Bench.
17,6 тыс. опубликованных математических задач разной сложности для проверки рассуждающих моделей.
57 937 отфильтрованных трасс от трёх моделей для SFT в математике, коде, рассуждениях и мультиязычных задачах.
Табличные аудио-признаки треков Spotify из 125 жанров в CSV.
Набор синтетических пошаговых рассуждений для дообучения небольших и средних LLM логике.
Синтетические финансовые документы на шести языках с разметкой персональных данных для обучения NER.
Табличные и текстовые данные, связанные с открытой агентной моделью OpenResearcher для deep research.
Табличные, текстовые и графические данные о 148 909 опубликованных играх Steam для классификации.
Коллекция для суммаризации длинных повествовательных текстов: книги и их пересказы.
Крупный корпус отраслевых текстов на английском и китайском для обучения и дообучения промышленных моделей.
Англоязычные текстовые пары с оценками полезности, фактичности и сложности для выравнивания LLM.
Табличный датасет на ~81,8 млн строк в схеме «звезда» для аналитических задач.
Чат-промпты с несколькими ответами и ранжированием от GPT-4 — для обучения reward-моделей и RLHF.
Мультиязычный набор для обучения фильтров безопасности LLM: джейлбрейки и инъекции.
110 тыс. китайских примеров с ответами и рассуждениями R1 для SFT.
50 тыс. нефильтрованных пар инструкция–ответ на английском для обучения языковых моделей.