К содержимому

Датасет · DeepGlint-AI

100 млн пар «картинка — текст» на китайском языке

DeepGlint-AI/DanQing100M

Огромный актуальный корпус веба 2024–2025 годов объёмом 12 ТБ для предобучения мультимодальных моделей.

Что внутри

Масштабный набор данных, содержащий от 10 до 100 миллионов пар изображений и текстов на китайском языке, собранных из веба за 2024–2025 годы. Общий объём датасета составляет 12 ТБ, и он предназначен для претрейна моделей связки зрения и языка.

Что можно сделать

  • Предобучение крупных мультимодальных моделей и энкодеров уровня CLIP на китайском языке
  • Обучение систем zero-shot классификации изображений и генерации описаний
Задачи
zero shot image classification, Картинка → текст
Языки
Китайский
Размер
10M–100M записей
Скачиваний за месяц
1,1 тыс.
Лайков
52

Как загрузить

from datasets import load_dataset

ds = load_dataset("DeepGlint-AI/DanQing100M")