InternVL3-78B-WSP-SFT-Compressed

Это структурно сжатая, WSP- и мультимодально дообученная версия OpenGVLab/InternVL3-78B. Исходные 78,4B параметров и 146,05 ГиБ упакованы в один checkpoint model.safetensors на 8,68 ГиБ — 16,8-кратное сокращение. Модель работает через Hugging Face transformers на CPU и GPU, язык обучения — английский.

⚙ Ключевые особенности

• ⚙ Сжатие InternViT-6B: 45→8 слоёв, MLP 12800→3200; LLM Qwen2.5-72B: 80→6 слоёв, SwiGLU 29568→4096.
• 📸 Сохранены 3200-мерные динамические patch embeddings для изображений, видео, UI/UX-схем, сетевых топологий и плотного OCR.
• 🧑‍💻 8 эпох joint multimodal SFT на 16 учебных направлениях: image/video, UI→React/Tailwind, аудит сетей, software engineering, CEH, pentest и web security.
• 💻 Один portable checkpoint 8,68 ГиБ; запуск нативно через transformers.
• 🌐 Карточка и обучение ориентированы на английский язык.

💻 Пример

from transformers import AutoModel, AutoTokenizer
model_id = "EverythingIsForGod/InternVL3-78B-WSP-SFT-Compressed"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True, use_fast=False)
model = AutoModel.from_pretrained(model_id, torch_dtype="bfloat16", low_cpu_mem_usage=True, trust_remote_code=True).eval()
response = model.chat(tok, pixel_values=None, question="Explain TOCTOU prevention in PostgreSQL.", generation_config=dict(max_new_tokens=256, do_sample=False))
print(response)

Подробнее

Сжатие: 146,05 ГиБ → 8,68 ГиБ (16,8x); по метаданным — 4,66B параметров.
Запуск: CPU/GPU, transformers, trust_remote_code=True, use_flash_attn=False.
Ограничения: язык en, бенчмарки в карточке не указаны.