Granite 3.0 8B Instruct Tensix BF16 Folded
сборка для чипов Tenstorrent
2 мин чтенияобновлено
Это адаптация языковой модели IBM Granite 3.0 8B Instruct (8,17 млрд параметров) от Xylolabs, подготовленная для запуска на ИИ-ускорителях Tenstorrent Tensix через библиотеку TT-NN. Авторы заранее «вшили» множитель остаточных связей (residual_multiplier, равный 0.22) прямо в веса выходных проекций внимания и MLP-слоёв. За счёт этого при инференсе не нужно выполнять лишнее умножение на лету, а в конфигурации параметр приведён к единице. Вся модель осталась в формате BF16 с сохранением оригинального токенизатора и чат-шаблона. Пригодится разработчикам, запускающим LLM на железе и симуляторах Tenstorrent (включая Blackhole).
Ключевые особенности
- Свёртка весов (residual folding): 80 матриц проекций внимания и MLP умножены на 0.22 в float32 и округлены обратно в BF16, остальные 282 тензора остались побайтово идентичными оригиналу.
- Совместимость с TT-NN: все 362 тензора проверены упаковкой на хосте через TT-NN 0.81.1, а также прошли проверку передачи через DRAM на симуляторе Blackhole.
- Минимальное отклонение от базы: среднее расхождение KL-дивергенции относительно оригинальной BF16-версии составило всего 0.000833 (примерно в 71 раз меньше, чем у квантования Q4_K_M).
Что можно сделать
- Загружать веса в пайплайны на базе
ttnnдля инференса на ускорителях Tenstorrent без ручной модификации графа под нестандартныйresidual_multiplier. - Использовать чекпоинт как эталонную BF16-модель при отладке, профилировании памяти и тестировании раннеров на симуляторе Tenstorrent Blackhole.
- Запускать локально через стандартный
transformersна PyTorch для генерации текста и диалогов на английском и корейском языках.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Xylolabs/granite-3.0-8b-instruct-Tensix-BF16-Folded"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype="bfloat16", device_map="auto")
messages = [{"role": "user", "content": "What is the capital of France? Reply with the city name only."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=64, do_sample=False)Подробнее
Бенчмарк (33 обычных промпта): 24 правильных ответа против 25 у оригинальной BF16 и 23 у Q4_K_M.Требования к памяти: около 16,34 ГБ VRAM только под веса модели, плюс место под KV-кэш и буферы.
Ограничения: совместимость с
tt-transformers и tt-forge для этого чекпоинта не проверялась; скорость генерации не замерялась.Лицензия: Apache 2.0.










Комментарии