Датасет · DatologyAI
DatBench: бенчмарк для оценки VLM
DatologyAI/DatBench
Курируемый набор для честной и эффективной оценки vision-language моделей.
Что внутри
DatBench — оценочный набор для vision-language моделей, собранный как альтернатива бенчмаркам с раздутием от multiple-choice, языковыми шорткатами и шумом аннотаций. В карточке указаны изображения и текст; объём — от 10 тыс. до 100 тыс. примеров. Точный состав по подзадачам в доступном фрагменте не раскрыт.
Что можно сделать
- Оценка VLM на устойчивость к языковым шорткатам
- Сравнение vision-language моделей между собой
- Валидация мультимодальных пайплайнов перед релизом
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 108
Как загрузить
from datasets import load_dataset
ds = load_dataset("DatologyAI/DatBench")