SadikAI Medium

SadikAI Medium — релиз от Sadik Nawaz (11 лет, 6 класс): трансформер на 7 866 048 параметров, обученный с нуля на английском, хинди, Hinglish, коде, математике и общих знаниях. Модель намеренно маленькая, чтобы работать на домашнем ПК без GPU, а вместе с ней поставляется полноценное локальное чат-приложение.

⚙ Ключевые особенности

• ⚙ 7 866 048 параметров, из них 1 574 592 без эмбеддингов; обучение на 63,9 млн токенов, step 4249.
• 🌐 Английский, хинди и Hinglish, плюс код, математика и общие знания.
• 💡 Запуск офлайн на домашнем ПК без GPU; есть отдельный сэмплер generate.py на torch.
• 🧩 В комплекте чат-приложение: память между сессиями, веб-поиск, генерация изображений, аудио и PDF/Word/Excel/CSV.
• 🎯 113 офлайн-уроков по английскому, хинди, математике, науке, истории, географии и другим темам.

🚗 Пример

pip install -r requirements.txt
python generate.py --say "hello" --max-new-tokens 80

Подробнее

Валидация: loss 2,9338, perplexity 18,8.
Веса разбиты на 8 частей; join_weights.py собирает weights.pt и проверяет SHA-256.
Языковая модель — base next-token: продолжает текст; истории и стихи берутся из курируемой библиотеки, а факты, математика, код и уроки — из слоя приложения.
Карточка честно указывает ограничения маленькой сети.