Meron Nano MoE 2.26M
ультракомпактная языковая модель для краевых устройств
2 мин чтенияобновлено
Meron Nano MoE 2.26M — это сверхкомпактная базовая языковая модель размером всего 2.26 млн параметров (из которых задействовано 910 тыс. на токен). Модель построена на базе раздельной динамической маршрутизации Mixture-of-Experts (MoE) и рекуррентных циклов разделения параметров. Набор решений позволил достичь высокой эффективности в математических и научных задачах, опережая более крупные аналоги при меньшем числе активных параметров. Модель ориентирована на исследователей, разработчиков в сфере Edge AI и микроконтроллеров.
Ключевые особенности
- Высокая эффективность: Индекс интеллекта Open SLM на уровне 15.45 для моделей до 10M параметров.
- Динамическая MoE: Разделение математических и языковых потоков вычислений для минимизации интерференции.
- Рекуррентное обсуждение: Использование 2 физических слоев в 2 прохода дает эффективную глубину в 4 слоя.
- Минимальный вес: Занимает около 9 МБ в FP32 и менее 600 КБ в 4-битном квантовании.
Что можно сделать
- Запуск на микроконтроллерах: Интегрировать модель в устройства с жесткими ограничениями памяти вроде ARM Cortex-M или ESP32.
- Локальные вычисления: Использовать как офлайн-движок для базовой арифметики и логических задач без интернета.
- Исследования архитектур: Применять в качестве бенчмарка при изучении экстремально малых языковых моделей и MoE-систем.
Пример
import torch
import torch.nn.functional as F
from safetensors.torch import load_file
from transformers import AutoTokenizer
# Load tokenizer and model weights
tokenizer = AutoTokenizer.from_pretrained("path/to/Meron-Nano-MoE")
weights = load_file("path/to/Meron-Nano-MoE/model.safetensors")
print(f"Loaded {len(weights)} weight tensors successfully.")
# Example arithmetic inference prompt
prompt = "Sam had 43 rubber bands. A friend gave Sam 19 more. Afterward, Sam had"
tokens = tokenizer.encode(prompt, return_tensors="pt")
print(f"Encoded prompt shape: {tokens.shape}")Подробнее
• Архитектура: Dynamic MoE, 2 физических слоя с рекуррентными циклами• Датасет обучения: 1.355 млрд токенов (Nemotron-ClimbMix, Cosmopedia v2, научные тексты)
• Бенчмарки: ArithMark-3.0 — 59.30%, PIQA — 58.49%, ARC-Challenge — 29.77%
• Ограничения: базовая модель без настройки чата, ограничена английским языком и запасом фактических знаний










Комментарии