GLiDE-0.4B CoreAI

Это CoreAI-конвертация fastino/GLiDE-0.4B, закреплённая на конкретной upstream-ревизии. Модель не генерирует текст: она возвращает вероятности для вопросов выбора, yes/no (noul) и оценки. Собрана для on-device инференса на iOS.

⚙ Ключевые особенности

• 🎯 Три типа решений: choice, yes/no и score.
• 📀 Готовые скомпилированные графы для iOS h19p GPU: короткий и длинный на 7999 токенов.
• 🧊 Смешанная точность: FP16 для эмбеддингов и проекций энкодера, FP32 для нормализации, RoPE, attention, GELU, residual и readout.
• 🫡 Нативная интеграция через GlideKit: tokenizer, prompt renderer и decision API.
• 💡 Runtime скачивает assets при первом запуске, проверяет checksums и дальше работает офлайн.

🎯 Пример

Сценарий из карточки: приложение на iOS передаёт вопрос через prompt wrapper и получает от decision API вероятности для вариантов выбора, ответа yes/no или оценки. Текст модель не пишет — только распределение вероятностей.

Подробнее

Валидация: 73 reference decision на macOS и iPhone Duo; 8 demo-ответов совпали с FP32 publisher, максимальная разница вероятности — 0.000194550.
Нужны CoreAI на iOS 27, устройство h19p и entitlement на повышенный лимит памяти. Контекст — до 7999 токенов включая special tokens.
Runtime download — 5 034 723 779 байт (4.69 GiB), полное дерево — около 6.62 GB. Stripped-ассеты не проходили новый parity-прогон на физическом устройстве.