K-Oss 8 Mini Instruct

K-Oss 8 Mini Instruct от K-Ai (Kortex AI) — instruction-tuned модель на базе Qwen/Qwen3-VL-8B-Instruct примерно на 8,8B параметров. Она принимает текст и изображения и отвечает на английском, индонезийском и японском. Несмотря на имя, это не дистилляция крупной K-Oss 8 (120B/12B active), а отдельный файнтюн Qwen3-VL.

🔤 Ключевые особенности

• 🔤 Три целевых языка: английский, индонезийский (Bahasa Indonesia) и японский.
• ➕ На вход принимает текст и изображения, на выходе — только текст.
• ✖ Fine-tune через QLoRA: r=16, alpha=16; обучались attention и MLP слои языковой модели, vision tower заморожен.
• ▶ База — Qwen3-VL-8B-Instruct; лицензия Apache-2.0, как у базовой модели.
• 🔜 Статус Public Beta: крупномасштабная проверка на реальных изображениях пока не заявлена.

▶ Пример

from transformers import AutoModelForImageTextToText, AutoProcessor

model = AutoModelForImageTextToText.from_pretrained(
    "K-Ai-Official/K-Oss-8-Mini-Instruct-8B", torch_dtype="auto", device_map="auto"
)
processor = AutoProcessor.from_pretrained("K-Ai-Official/K-Oss-8-Mini-Instruct-8B")

Подробнее

На малых held-out наборах: индонезийский 17/20 против 15/20 у базы, английский 17/20 против 17/20, японский 14/20 против 12/20.
Правильный язык ответа: 19/20 для индонезийского, 19/20 для английского, 16/20 для японского.
Обучение: одна NVIDIA T4 (16 GB), QLoRA на 4-bit весах, затем merge в 16-bit.
Ограничения: данные в основном синтетические; часть текстовых примеров написана с помощью AI и не проверена носителями; публичных instruction-датасетов не смешивали.