I.good V1.1
крошечная русская LLM на 4.5M параметров, обученная с нуля на CPU
2 min readupdated
I.good V1.1 — экспериментальная Llama-совместимая языковая модель от автора MatUserMTV, созданная не через дообучение, а полностью с нуля на русских диалогах. Весь цикл — от сырого текста до готового файла GGUF — прошёл на серверном процессоре Intel Xeon без видеокарты за 45 минут. Модель не конкурирует с Qwen или Llama и не умеет решать сложные задачи, но наглядно показывает, как ведёт себя сверхмалая нейросеть на практике, где заканчиваются её возможности и почему размер словаря критичен для крошечных архитектур.
Ключевые особенности
- Обучение без GPU: модель с 4,522,624 параметрами обучена за ~45 минут на 28-поточном процессоре Intel Xeon с 32 ГБ ОЗУ.
- Современный стек архитектуры: под капотом 2 слоя, 4 головы внимания с GQA (групповое внимание запросов для экономии памяти), нормализация RMSNorm, RoPE и активация SwiGLU.
- Готовый формат GGUF: веса сразу сконвертированы для локального запуска в Ollama и KoboldCPP без видеокарты.
- Честный разбор ограничений: автор открыто показал переобучение модели — 91% весов (~4.1M) ушёл в таблицу эмбеддингов (словарь на 32 000 токенов), оставив на сами слои обработки всего ~400K параметров.
Что можно сделать
- Запустить локально на слабом ПК: протестировать генерацию коротких русских реплик в Ollama или KoboldCPP исключительно силами CPU.
- Изучить на практике поведение сверхмалых LLM: посмотреть, как работает штраф за повторы (repetition penalty), почему низкий loss (ошибка обучения) не гарантирует связный текст и как модель зацикливается при малом объёме данных.
Пример
ollama create i-good-1.1 -f Modelfile
ollama run i-good-1.1
# Промпт должен строго использовать токены из обучения:
# <|user|>Как тебя зовут?<|assistant|>
# Вывод: Меня зовут Андрей, а тебя?
Подробнее
Обучение: ~10 000 русских диалогов (~834 000 токенов, ~4 МБ текста), контекст 512 токенов, оптимизатор AdamW, финальный train loss ~5.20 (val loss 5.70 на 500-м шаге).Железо и требования: для запуска достаточно CPU (0 GPU Layers), обязательно выставлять repetition_penalty от 1.5 и temperature около 0.3, иначе модель зацикливается.
Ограничения: теряет контекст через 2–3 реплики, не умеет писать код и выполнять инструкции, страдает от переобучения из-за отсутствия dropout и малого датасета. Лицензия Apache 2.0.










Comments