GoldWorm v8 coder (85M)

Исследовательский чекпоинт full1 от Uuuuuuniiiiiii: собственная byte-level causal-модель без токенизатора, словарь — 256 сырых байтов. 85 169 664 параметра, 12 слоёв, d_model 768, контекст 2048 байтов; обучена с нуля на Python-исходниках. Предназначена для дописывания коротких тел Python-функций, но не для продакшена.

📝 Ключевые особенности

• 📝 Без токенизатора: UTF-8 байты, vocabulary 256.
• 🤓 Архитектура GoldWormV8: pre-LN блоки, RoPE, causal SDPA, tied head.
• ⌨ Запуск на CPU: загрузка около 1 с, есть inference_cpu.py.
• 🗣 SFT на 324 парах prompt→body; данные предложены Qwen2.5-Coder-7B-Instruct как teacher и отфильтрованы тестами.
• ☹ Низкие абсолютные результаты: решает только тривиальные функции.

⌨ Пример

from inference_cpu import load, complete
m = load()
prompt = 'def add(a, b):\n    return a + b\n'
print(prompt + complete(m, prompt, seed=0))