Датасет · DeepGlint-AI
100 млн пар «картинка — текст» на китайском языке
DeepGlint-AI/DanQing100M
Огромный актуальный корпус веба 2024–2025 годов объёмом 12 ТБ для предобучения мультимодальных моделей.
Что внутри
Масштабный набор данных, содержащий от 10 до 100 миллионов пар изображений и текстов на китайском языке, собранных из веба за 2024–2025 годы. Общий объём датасета составляет 12 ТБ, и он предназначен для претрейна моделей связки зрения и языка.
Что можно сделать
- Предобучение крупных мультимодальных моделей и энкодеров уровня CLIP на китайском языке
- Обучение систем zero-shot классификации изображений и генерации описаний
- Задачи
- zero shot image classification, Картинка → текст
- Языки
- Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 52
Как загрузить
from datasets import load_dataset
ds = load_dataset("DeepGlint-AI/DanQing100M")