Raon-1 mini

Raon-1 mini — превью-релиз языковой модели от KRAFTON AI, обученной с нуля. Это MoE-архитектура на 28,8 млрд параметров, из которых активны 4,3 млрд на токен; заявлена сильная корейская диалоговая речь и агентные сценарии. Репозиторий содержит дополнительные 4-битные GGUF-кванты с imatrix.

➕ Ключевые особенности

• ➖ Гибридная MoE-архитектура: 18 слоёв linear attention и 7 full attention, Raon Delta Attention и Raon-mHC.
• 🔜 Контекст до 262 144 токенов; KV cache только в 7 MLA-слоях — около 8 KiB на токен в BF16.
• 🔤 Обучена на корейском, английском, японском, китайском, испанском, французском и тайском; сильный корейский и уверенный английский.
• ▶ Поддержка tool calling для агентных workflow: Hermes Agent, Pi и OpenCode.
• ✖ Есть DFlash2 draft-модель для speculative decoding и форматы MXFP8/NVFP4; NVFP4 позволяет инференс на одной RTX 5090 (32 ГБ VRAM).

🔤 Пример

Сценарий из карточки: агентный workflow с вызовом инструментов. Например, попросите модель спланировать поиск и вызвать нужные tools через Hermes Agent, Pi или OpenCode — превью заявлено для instruction following и поиска.

Подробнее

MMLU Pro: 76.5; GPQA Diamond: 84.3; AIME 2026: 93.3.
Это preview-релиз, спецификации и результаты могут измениться до финальной версии.
Лицензия Apache 2.0. Доступны кванты MXFP8 и NVFP4; NVFP4 — до 32 ГБ VRAM.