tiny-autocomplete

tiny-autocomplete — 380M-параметровая autocomplete-модель в формате Llama от tmickleydoyle. Веса не обучали градиентным спуском и не брали из другой модели: их компилирует build_weights.py по закрытой формуле на основе ~1 100 бытовых английских фраз и ~20 000 человеческих предложений о программировании (OpenAssistant, MBPP, CoNaLa).

⚙ Ключевые особенности

• ⚡ Веса компилируются из текста за 6,2 с на CPU ноутбука; пик памяти 2,3 ГБ, GPU не нужен.
• 🎯 Сеть — точная трансформерная реализация интерполированной Witten-Bell 5-gram; контекст всего 4 токена.
• 🔎 PyTorch на CPU: 70 мс на следующее слово, 16 токенов/с жадной генерацией, загрузка 0,3 с.
• 📌 На отложенных 10% coding-предложений top-1 accuracy 25,8%, top-3 — 39,6%.
• ✅ Обычный LlamaForCausalLM: работает с transformers, pipeline и Llama safetensors без trust_remote_code.
• ❗ Только 7% весов ненулевые (26,8M из 380M), поэтому плотный файл в основном пустой.

📌 Пример

from transformers import pipeline

gen = pipeline("text-generation", model="tmickleydoyle/tiny-autocomplete")
gen("Once upon a")[0]["generated_text"]   # 'Once upon a time.'

Подробнее

Сборка: 6,2 с на 10-ядерном Apple Silicon, 32 ГБ RAM, CPU only; две пересборки дают byte-identical model.safetensors.
Ограничения: видит 4 токена, не рассуждает и не пишет код, словарь 3 000 слов, 128 позиций; длинные продолжения могут уходить в другую тему.
Лицензии: модель, код и фразы — MIT; данные coding — OpenAssistant oasst2 (Apache-2.0), MBPP (CC-BY-4.0), CoNaLa (MIT).