Kyro-29M-Instruct

Это instruction-tuned версия Kyro-29M — английской модели на 29,1 млн параметров, предобученной с нуля на 30 млрд токенов. Версия Instruct отвечает на одноходовые инструкции: на таком размере ждите правильный формат и тон, но не надёжные факты.

🔤 Ключевые особенности

• ➖ 29,1M параметров, только английский язык, контекст 512 токенов.
• ➕ Дообучена на smol-smoltalk: 331 346 тренировочных примеров и 500 валидационных, берётся первый ход user→assistant.
• ▶ Только single-turn: многоходовой памяти нет. Шаблон промпта собирает tok.chat().
• 1⃣ Обучение: 2 эпохи, 20 708 шагов, около 17 минут на RTX 5090; финальный validation loss — 1.471.
• 🔜 Веса и код под Apache-2.0; данные дообучения smol-smoltalk тоже Apache-2.0.

🔤 Пример

from huggingface_hub import snapshot_download
import sys
path = snapshot_download('Astrosully/Kyro-29M-Instruct')
sys.path.insert(0, path)
from modeling_kyro import load
model, tok = load(path)
print(tok.chat(model, 'Give three tips for staying healthy.', temperature=0.7))

Подробнее

Финальный validation loss — 1.471, perplexity — 4.35 на response-токенах.
Обучение заняло 2 эпохи и 20 708 шагов; LR 3e-4 выбирали sweep’ом по одной эпохе.
Ограничения: слабые мировые знания, частые выдуманные факты, только английский, контекст 512 токенов и нет safety tuning.
Не используйте там, где важна корректность фактов.