Датасет · vidore
Тренировочный набор ColPali для поиска по документам
vidore/colpali_train_set
127K пар запрос-изображение для обучения визуального поиска по документам.
Что внутри
Это тренировочный набор ColPali: 127 460 пар запрос-изображение. 63% взяты из открытых академических датасетов, 37% — синтетические страницы PDF из веб-краулинга с псевдовопросами от Claude-3 Sonnet. Набор полностью англоязычный; модальности — изображения и текст.
Что можно сделать
- Обучить ColPali или LoRA для visual document retrieval
- Дообучить модель document question answering по изображениям страниц
- Проверить zero-shot перенос на неанглийские документы
- Задачи
- document question answering, visual document retrieval
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,9 тыс.
- Лайков
- 93
Модели, обученные на нём
- vidore/colqwen2-v1.0-hfvisual document retrieval 33,1 тыс.
- vidore/colpali-v1.3visual document retrieval 11,9 тыс.
- vidore/colpali-v1.2visual document retrieval 10,7 тыс.
- athrael-soju/colqwen3.5-4.5B-v3visual document retrieval 3,8 тыс.
- vidore/colpali-v1.3-merged 3 тыс.
- tsystems/colqwen2.5-3b-multilingual-v1.0visual document retrieval 2 тыс.
- vidore/colpali-v1.3-hfvisual document retrieval 1,7 тыс.
- MrLight/dse-qwen2-2b-mrl-v1visual document retrieval 1,1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("vidore/colpali_train_set")