PixtralViT-Large-4

Репозиторий immanuelpeter упаковывает визуальный энкодер Tower и Projector из Mistral Large 4 (mistralai/Mistral-Large-4-1T-A52B) для извлечения признаков изображений. Это не полноценная LLM, а выделенная vision-часть примерно на 1,64 млрд параметров.

🔥 Ключевые особенности

• 👄 Tower: 30 блоков, hidden 2048, 16 голов по 128, SwiGLU 6144, RMSNorm с eps 1e-5, патчи 14 px, axial 2D RoPE, без class token и финальной нормы.
• 📌 Projector сжимает патчи 2×2: RMSNorm(2048), merge до 8192, Linear(8192, 2048), Linear(2048, 6144), GELU и Linear(6144, 6144) без bias.
• 🖼 При 448 px на выходе 1024 Tower-токена шириной 2048, 256 merged-токенов шириной 2048 и 256 projected-токенов шириной 6144.
• ✅ Все 276 тензоров сверены с родительским чекпоинтом через torch.equal; выходы Tower, merged и projected совпадают побитово в FP32 и BF16 при 448 и 1540 px.
• 📚 Веса сохраняют Mistral Ecosystem Open-Weight License, Python-файлы — MIT.

🔮 Пример

Сценарий из карточки: изображение проходит через PixtralImageProcessor и PixtralVisionModel; при 448 px можно получить 256 merged-токенов шириной 2048 и 256 projected-токенов шириной 6144 для дальнейших задач извлечения признаков.

Подробнее

В релизе 272 тензора vision-энкодера и 4 тензора projector.
Проверка включает 276 тензоров и сравнение выходов в FP32/BF16.
Это только Tower и Projector, без языковой модели.
Экспортный скрипт пиннит родительскую ревизию и переписывает имена тензоров в HF Pixtral.