Stardust Flash-01

Stardust Flash-01 от STARDUST Labs — открытая модель для авторизованной security-работы, дообученная на реальных уязвимостях из приватного датасета. Это MoE-модель на базе GLM-5.3-Flash: 320B total / 18B active параметров и контекст до 1M токенов. Задумана как worker: оркестратор ставит узкую задачу, а Flash-01 читает код, использует инструменты и подтверждает находки.

👀 Ключевые особенности

• 👉 Роль worker-модели в агентной схеме: получает один scoped task за раз.
• 👀 Code review, статический анализ, tool-assisted exploration и review смарт-контрактов на тестнетах или своих деплоях.
• 💪 MoE-архитектура: 320B total / 18B active, контекст до 1M токенов.
• 🤫 Post-training: rank-256 LoRA по всем экспертам и роутерам, полное обновление 16 выбранных экспертов и GRPO на 150 задачах из 50 кейсов.
• 😌 Лицензия MIT; использовать только на своих системах или с письменным разрешением.

👉 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "stardust-llm/stardust-flash-01"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="auto", device_map="auto", trust_remote_code=True)

messages = [{"role": "user", "content": "Review this function for input validation issues"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

Подробнее

Бенчмарков и требований к VRAM в карточке нет.
Обучение: GRPO, 150 задач из 50 кейсов в трёх представлениях — guided whitebox, focused whitebox и focused blackbox.
Ограничения: узкая специализация, небольшой тренировочный сет, возможны false positives и пропуски — находки должен проверять человек.
Это не замена экспертам, а ускоритель для квалифицированной security-команды.