PDF Shuffler AI Models
локальные Qwen3 и Qwen3.5 для iOS
2 min readupdated
Репозиторий от Freshmob содержит готовые сконвертированные веса семейств Qwen3 (0.6B, 1.7B, 4B) и Qwen3.5 (2B) для локальной обработки документов прямо на мобильном устройстве без отправки данных в облако. В отличие от оригинальных моделей от Qwen, здесь собраны пакеты в форматах MLX (фреймворк Apple для запуска нейросетей на своих чипах) и CoreAI (экспорт через рецепты coreai-models с контекстом 4096 токенов). Модельная база не дообучалась, изменены только формат представления и квантизация (сжатие весов до 4 и 8 бит). Пригодится разработчикам iOS-приложений, которые хотят встроить офлайн-работу с текстом и PDF в свои продукты.
Ключевые особенности
- Два формата под Apple: веса Qwen3 доступны в версиях MLX 4-bit и CoreAI (смешанная квантизация 4/8-bit), а Qwen3.5-2B — в формате MLX 4-bit.
- Контекст 4096 токенов: экспорты CoreAI настроены на работу с окном контекста в 4096 токенов для iOS.
- Строгая верификация: файл
AIModels.jsonфиксирует точные размеры и контрольные суммы SHA-256 для каждого пакета. - Открытая лицензия: все пакеты распространяются под лицензией Apache-2.0.
Что можно сделать
- Встроить локального текстового ассистента в iOS-приложение (от iOS 17+ для MLX или iOS 27+ для CoreAI) для анализа PDF-файлов на устройстве.
- Использовать готовые 4-битные веса
mlx-communityв связке с манифестомAIModels.jsonдля безопасной подгрузки моделей по требованию без исполнения стороннего кода.
Пример
В карточке репозитория нет готового кода запуска: приложение PDF Shuffler загружает нужный пакет опционально по закреплённому манифесту AIModels.json (с проверкой SHA-256) и обрабатывает PDF-документы локально на iPhone без передачи файлов на сервер.
Подробнее
Базовые модели: Qwen3 (0.6B, 1.7B, 4B) и Qwen3.5 (2B)Системные требования: iOS 17+ для MLX, iOS 27+ для CoreAI
Ограничения: экспортер Apple для Qwen3.5 пока не поддерживает iOS; оценки памяти в манифесте — примерные ориентиры для установки, а не замеры пикового потребления на iPhone
Важно: ответы по документам требуют проверки по первоисточнику, возможны фактические ошибки










Comments