Erika Qwen3-4B Mobile GGUF
карманный ассистент без облака
2 min readupdated
Erika — мобильная сборка ассистента на базе unsloth/Qwen3-4B-Instruct-2507, в которую авторы влили LoRA-адаптер (небольшую надстройку над базовой моделью). Модель раздаётся в GGUF-квантизациях от Q2_K до Q4_K_M, чтобы её можно было запускать офлайн на Android через Termux и llama.cpp, на iOS и на устройствах с малым объёмом RAM. Размеры файлов — примерно от 1,48 до 2,50 GB: Q3_K_M (~1,95 GB) рассчитан на телефоны с 4 GB RAM, а Q4_K_M — на ПК и смартфоны с 6 GB RAM и больше. Главная фишка — не новые бенчмарки, а готовые компактные кванты и инструкции для локального запуска; пригодится тем, кто хочет личного ассистента без постоянной отправки запросов в облако.
Ключевые особенности
- GGUF-кванты Q2_K–Q4_K_M: от ~1,48 GB до ~2,50 GB под разное железо.
- Запуск через llama.cpp/Termux, MLC LLM и Ollama; в карточке есть готовые команды и Modelfile.
- Низкие требования: Q3_K_M (~1,95 GB) для 4 GB RAM, Q2_K (~1,48 GB) для старых телефонов с 3 GB RAM.
- Персона Erika задана системным промптом: «суверенный, аналитичный и приветливый» ассистент.
- Можно выбрать IQ3_XS (~1,72 GB) как компромисс между качеством и размером.
Что можно сделать
- Поднять офлайн-ассистента в Termux на Android и общаться с ним через llama-cli.
- Собрать локальный Modelfile для Ollama и запускать Erika на ноутбуке или ПК.
- Проверить, как разные кванты ведут себя на старом телефоне: Q2_K для 3 GB RAM, Q3_K_M для 4 GB.
- Держать под рукой локального ассистента для повседневных вопросов, когда нет интернета.
Пример
./llama-cli -m erika-qwen3-4b-mobile-IQ3_XS.gguf -p "Você é a Erika. Como você pode me ajudar hoje?" -n 512
Подробнее
База:unsloth/Qwen3-4B-Instruct-2507 + LoRA-адаптер fabricioslv/erika-qwen3-4b-mobile-adapter.Кванты: Q4_K_M ~2,50 GB; Q3_K_M ~1,95 GB; Q3_K_S ~1,80 GB; IQ3_XS ~1,72 GB; IQ3_XXS ~1,58 GB; Q2_K ~1,48 GB.
Бенчмарков в карточке нет; язык карточки и системного промпта — португальский.
Для Q4_K_M советуют 6 GB RAM и больше, для Q3_K_M — 4 GB, для Q2_K — старые 3 GB.










Comments