FahQgpt1.1 nano
крошечная разговорная LLM, обученная с нуля
2 min readupdated
Компактная экспериментальная языковая модель на 145,9 млн параметров для коротких диалогов на английском языке. Автор @一片烂海苔 обучил её на базе собственной модели FahQgpt1.0 Nano без использования сторонних предобученных весов, дообучив на наборах диалогов smoltalk и smol-smoltalk. На выходе модель генерирует ответы в формате простого чата через встроенный локальный веб-интерфейс, CLI или популярный движок llama.cpp. Подойдёт энтузиастам для экспериментов с локальным запуском сверхлёгких моделей даже на слабом железе и CPU.
Ключевые особенности
- Архитектура с 14 слоями, скрытым размером 896, GQA (групповое внимание запросов, 14/2), SwiGLU, RoPE и RMSNorm при контексте 1024 токена.
- Полностью самостоятельное обучение с нуля: 3 200 шагов дообучения заняли около 27 минут на одной видеокарте RTX 5060 Ti 16GB с пиковым потреблением 4,59 GiB VRAM.
- Весит всего ~293 МБ в формате
FahQgpt1.1-nano-F16.gguf(или ~584 МБ в FP32safetensors), поэтому не требует квантования в Q4. - Использует простой шаблон диалога
User: ... / Assistant: ...без системного промпта.
Что можно сделать
- Запустить локальный веб-чат на порт 7861 через встроенный скрипт
fahqgpt.serve_11без интернета и внешних API. - Подключить готовый файл
FahQgpt1.1-nano-F16.ggufвllama-serverили любом другом приложении с поддержкойllama.cppдля быстрых одноходовых диалогов. - Изучить код и артефакты воспроизводимости в репозитории как наглядный пример пайплайна обучения мини-LLM с нуля.
Пример
hf download txktxkabcd/fahqgpt-1.1-nano --local-dir fahqgpt-1.1-nano
cd fahqgpt-1.1-nano
pip install -r requirements.txt
python -m fahqgpt.chat_validation --prompt "who are you"
python -m fahqgpt.serve_11 --port 7861Подробнее
Метрики: взвешенный по токенам validation NLL снизился с 2.5112 до 1.5761 на первых 160 отложенных примерах.Железо: работает на CUDA (bf16 autocast) и CPU (fp32); для инференса нужно менее 300–600 МБ памяти.
Ограничения: учебный проект — модель плохо держит многоходовый контекст, может выдумывать факты и слова, не поддерживает системные промпты и ориентирована только на английский язык.
Лицензия: Apache-2.0.










Comments