Языковые моделиtekuan-studio
Kuziva 1
крошечная офлайн-чат-модель с заметками
1 мин чтения
Kuziva 1 — чат-модель на 29,5 млн параметров, обученная с нуля Kuna в T.E.K.U.A.N Studio (Зимбабве) как учебный проект. Запускается офлайн на CPU ноутбука, отвечает коротким английским текстом и умеет подставлять факты из notes.txt. Архитектура: 512 wide, 8 слоёв, 8 голов, контекст 256, BPE-токенизатор на 8 192 токена.
💻 Ключевые особенности
- 💻 Работает офлайн на CPU ноутбука: есть терминальный чат и браузерный интерфейс.
- 📚 Не хранит факты в весах — берёт их из
notes.txtпо совпадению темы; вserver.pyиспользуется fuzzy matching от 70%. - ⏰ Умеет называть время и дату с часов компьютера.
- 🗑 Не рассуждает, не считает и не пишет эссе; без подходящей заметки может выдумывать факты.
- 🌎 Обучена в основном на английском; Shona надёжно не поддерживает.
💻 Пример
Терминальный запуск: положите kuziva_1.pt, tokenizer.json, notes.txt и kuziva_chat.py в одну папку.
pip install torch tokenizers
python kuziva_chat.pyПодробнее
Pretraining validation loss — 2.49, fine-tune — 2.70–2.88.Копирование факта из заметки: 15 из 16; тесты без заметки и с неверной заметкой — 0 из 8, то есть «не знаю» модель не гарантирует.
Веса ~118 MB в fp32; обучение на Google Colab T4, инференс на CPU ноутбука.
Не тестировалась на безопасность; возможны ошибочные или странные ответы, не для медицинских, юридических и финансовых советов.
Комментарии