PixtralViT-Large-4
Tower и Projector из Mistral Large 4
1 min readupdated
Репозиторий immanuelpeter упаковывает визуальный энкодер Tower и Projector из Mistral Large 4 (mistralai/Mistral-Large-4-1T-A52B) для извлечения признаков изображений. Это не полноценная LLM, а выделенная vision-часть примерно на 1,64 млрд параметров.
Ключевые особенности
- Tower: 30 блоков, hidden 2048, 16 голов по 128, SwiGLU 6144, RMSNorm с eps 1e-5, патчи 14 px, axial 2D RoPE, без class token и финальной нормы.
- Projector сжимает патчи 2×2: RMSNorm(2048), merge до 8192, Linear(8192, 2048), Linear(2048, 6144), GELU и Linear(6144, 6144) без bias.
- При 448 px на выходе 1024 Tower-токена шириной 2048, 256 merged-токенов шириной 2048 и 256 projected-токенов шириной 6144.
- Все 276 тензоров сверены с родительским чекпоинтом через torch.equal; выходы Tower, merged и projected совпадают побитово в FP32 и BF16 при 448 и 1540 px.
- Веса сохраняют Mistral Ecosystem Open-Weight License, Python-файлы — MIT.
Пример
Сценарий из карточки: изображение проходит через PixtralImageProcessor и PixtralVisionModel; при 448 px можно получить 256 merged-токенов шириной 2048 и 256 projected-токенов шириной 6144 для дальнейших задач извлечения признаков.
Подробнее
В релизе 272 тензора vision-энкодера и 4 тензора projector.Проверка включает 276 тензоров и сравнение выходов в FP32/BF16.
Это только Tower и Projector, без языковой модели.
Экспортный скрипт пиннит родительскую ревизию и переписывает имена тензоров в HF Pixtral.










Comments