makellm-ja-char-200m
японская LLM на символах, обученная с нуля на AMD APU
2 мин чтенияобновлено
makellm-ja-char-200m — японская языковая модель на ~209,5 млн параметров от Sido (内田勉), полностью обученная с нуля на потребительском AMD APU. Это GPT-2-style decoder-only Transformer с character-level токенизацией: словарь — 7 280 символов, без BPE и subword-разбиения. Модель предназначена для продолжения японского текста и как база для файнтюна, а не для чата.
Ключевые особенности
- С нуля: 209 520 640 параметров, 16 слоёв, размерность эмбеддингов 1024, 16 голов, контекст 512 токенов (= 512 символов).
- Без BPE: 1 токен = 1 Unicode-символ; словарь из 7 280 символов, встречающихся в корпусе.
- Железо: обучение fp32 заняло ~90 часов на одном Radeon 8060S (ROCm), без предобученных весов и внешнего токенизатора.
- Данные: ~6,17 млрд символов из Japanese Wikipedia, Aozora Bunko и CC-100 (Japanese); split train ~5,55 млрд / val ~0,617 млрд.
- Base-модель: продолжает текст, но не следует инструкциям; чат-варианты опубликованы отдельно.
- Недообучена: 50 000 шагов, ~0,41 млрд увиденных токенов — меньше Chinchilla-оптимума; финальный val loss 2,0180.
Пример
hf download Sido/makellm-ja-char-200m \
makellm-ja-char-200m.f16.gguf Modelfile --local-dir ./makellm-base
cd makellm-base
ollama create makellm-200m-base -f Modelfile
ollama run makellm-200m-base "日本の四季は"
Подробнее
Финальный validation loss — 2,0180 (character-level cross-entropy).Обучение: AdamW, lr=3e-4, batch 16×512, 50 000 итераций, dropout 0.1, fp32.
Формат: F16 GGUF + Modelfile для Ollama; контекст выставлять 512.
Ограничения: короткий контекст, возможны не-слова и потеря связности; не для продакшена и high-stakes задач.
Лицензия весов — CC BY-SA 4.0; корпуса, чекпоинты и код обучения не входят.










Комментарии