MiniCPM5-2B для RK1820
компактная LLM для локального запуска
2 мин чтенияобновлено
Это конвертированный вариант MiniCPM5-2B от OpenBMB под платформу RK1820. Модель генерирует текст и предназначена для локальных ассистентов, кодинг-агентов и сценариев с инструментами. База — плотный Transformer на 2,5 млрд параметров с архитектурой LlamaForCausalLM и нативным контекстом 131 072 токена. Конвертацию и адаптацию сделала команда Firefly AI, запуск — через LlamaPi. Пригодится тем, кто хочет поднять небольшую LLM на устройстве с RK1820 без облака.
Ключевые особенности
- Оригинал — MiniCPM5-2B от OpenBMB; это вторая модель серии MiniCPM5.
- Целевая платформа — RK1820, запуск через LlamaPi.
- 2,5 млрд параметров, 42 слоя, контекст 131 072 токена.
- По заявлению авторов, 2B-class open-source SOTA и конкурентоспособна с 4B-моделями, особенно в коде, математике, длинном контексте и tool use.
- Обучена с RL и On-Policy Distillation на открытом корпусе UltraData.
Что можно сделать
- Развернуть локального текстового ассистента на RK1820 через LlamaPi.
- Использовать для кодинг-агента или подсказок по коду в локальном окружении.
- Строить tool-use сценарии: модель ориентирована на работу с инструментами и агентные задачи.
- Пробовать задачи с длинным контекстом до 131 072 токенов.
Пример
llamapi run minicpm5:2b
Подробнее
Оригинал: MiniCPM5-2B, разработчик OpenBMB.Конвертация и адаптация: Firefly AI Team.
Заявлено 2B-class open-source SOTA и конкурентоспособность с 4B-классом; чисел бенчмарков в карточке нет.
Ограничение: целевая платформа — RK1820, запуск через LlamaPi.










Комментарии