makellm Japanese 200M 2×
8K final — крошечная японская LLM с контекстом 8K
1 min readupdated
Это компактная японская LLM примерно на 238M параметров, обученная с нуля, а не файнтюн Gemma или Qwen. Модель поддерживает контекст до 8192 токенов, распространяется в GGUF и использует архитектуру, совместимую с ядрами qwen3.
Ключевые особенности
- Обучена с нуля на японском; совместимость с GGUF-ядрами Qwen3 относится к архитектуре, а не к весам Qwen.
- 238 324 736 параметров (около 238M), 16 слоёв, hidden 1024, 16 attention heads, FFN 2816.
- Контекст 8192 токена; RoPE с линейной интерполяцией от исходных 512.
- SentencePiece unigram, словарь 16k; чат-маркеры
<|user|>,<|bot|>,<|end|>. - F16 — эталон для оценки; Q8_0 новый и без полного бенчмарка; Q4_0 показал просадку.
- Слабости: знания, вычисления, следование инструкциям и сложные сводки.
Пример
hf download Sido/makellm-ja-spm-200m-2x-8k --local-dir ./makellm-8k
cd makellm-8k
llama-server -m makellm-ja-spm-200m-2x-8k.f16.gguf --host 127.0.0.1 --port 18763 --ctx-size 8192 --parallel 1 --threads 4 --n-gpu-layers 0
python chat.py --message '記録:会議は午前十時から、担当は大橋です。開始時刻と担当を答えてください。'
Подробнее
Бенчмарки на 8K: чтение 58/93, полные ответы на несколько вопросов 5/25, синтез/сводка 33/40.Размеры: F16 ~477 МБ, Q8_0 ~254 МБ, Q4_0 ~135 МБ; пример запуска — на CPU.
Ограничения: только японский, слабые знания, вычисления и следование инструкциям; 8K — это длина контекста, а не гарантия полного понимания.
Лицензия CC BY-SA 4.0.










Comments