PocketLLM Model Collection
подборки локальных LLM для Android
2 мин чтенияобновлено
Репозиторий представляет собой официальную коллекцию компактных языковых моделей, оптимизированных для работы прямо на Android-смартфонах без интернета и облачных серверов. Сборку подготовил разработчик Amaresh Hebbar специально для мобильного приложения PocketLLM, но сами файлы подойдут и для других локальных движков. Внутри собраны популярные открытые модели (Qwen 2.5, Gemma 1.1 и 3, Llama 3.2, SmolLM2, Phi-3.5 Mini) размером от 0.5B до 4B параметров. В отличие от десктопных версий, все веса уже переведены в экономичные форматы GGUF (квантование Q4_K_M для llama.cpp) и MediaPipe (.bin с поддержкой CPU и GPU), чтобы запускаться даже на бюджетных телефонах с 2 ГБ оперативной памяти.
Ключевые особенности
- Три категории под разное железо: от сверхлёгких моделей до 1 ГБ (Qwen 2.5 0.5B, Gemma 3 1B) для слабых устройств до более крупных Phi-3.5 Mini и Gemma 3 4B для смартфонов с 5–6+ ГБ RAM.
- Два мобильных формата: файлы
.ggufдля запуска черезllama.cpp(llama.rn) и бинарники.binдля Google MediaPipe LLM Inference с ускорением на CPU или GPU (Vulkan/OpenCL). - Готовый гайд по выбору: в карточке есть таблица соответствия моделей объёму оперативной памяти устройства — от 2 до 8 ГБ RAM.
- Планы на дообучение: автор анонсировал скорый выход собственных файнтюнов Llama 3.2 1B и Gemma 3 1B под короткие диалоги и контекстное окно 2048 токенов.
Что можно сделать
- Запустить чат-бота в приложении PocketLLM: скачать нужный вес прямо из встроенного раздела Model Store и общаться с нейросетью в офлайне.
- Использовать в своих мобильных проектах: встроить готовые файлы
.ggufили.binв Android-приложения на базеllama.rnилиreact-native-llm-mediapipe. - Подобрать модель под конкретную задачу: взять Qwen 2.5 0.5B для максимальной скорости на старом смартфоне или Phi-3.5 Mini для задач программирования на флагмане с 8 ГБ RAM.
Пример
Для прямого скачивания любого файла из коллекции используется стандартная ссылка вида:
[https://huggingface.co/AmareshHebbar/pocketllm-models/resolve/main/](https://huggingface.co/AmareshHebbar/pocketllm-models/resolve/main/);
Подробнее
Объём файлов: от 0.4 ГБ (Qwen 2.5 0.5B) до 2.8 ГБ (Gemma 3 4B).Требования к RAM смартфона: минимум 2 ГБ для младших моделей, от 4 ГБ для среднего сегмента и 5–6+ ГБ для старших.
Лицензии зависят от базовой модели: Apache 2.0 (Qwen, SmolLM2), MIT (Phi-3.5), а также отдельные условия Google Gemma и Meta Llama 3.2.










Комментарии