FLUX.2-klein-4B-Tenstorrent-Tensix-Components
компоненты диффузора под ускорители Tenstorrent
2 min readupdated
Архив выделенных операторов шумоподавителя (denoiser) на базе модели генерации изображений FLUX.2 klein 4B от Black Forest Labs, подготовленный командой Xylolabs для работы на чипах Tenstorrent Tensix. Набор содержит 213 переносимых тензоров в формате BF16, которые сохраняют исходные значения весов с учётом специфических для железа транспонирований и склеек. В отличие от готовых чекпоинтов, здесь нет текстового энкодера и VAE — это строительные блоки для инженеров, которые портируют архитектуру на аппаратные ускорители Tenstorrent.
Ключевые особенности
- Включает 213 операторов: 5 блоков с двойным потоком (dual-stream), 20 блоков с одним потоком (single-stream), а также входные и выходные проекции.
- Все веса сохранены в формате BF16 и занимают около 7,41 ГБ памяти устройства без учёта рабочих буферов.
- Файл
component.jsonхранит имена, формы (shapes), контрольные суммы SHA256 и точное описание преобразований исходных тензоров. - Пройдены проверки на побитовую точность (bit-exact) относительно оригинальных весов FLUX.2 klein 4B.
Что можно сделать
- Интегрировать веса в собственный адаптер архитектуры или пайплайн инференса под ускорители Tenstorrent Tensix, добавив недостающие текстовый энкодер и VAE.
- Использовать встроенный потоковый загрузчик
load_components.pyдля выборочного скачивания и валидации отдельных слоёв при отладке моделей.
Пример
from pathlib import Path
import importlib.util
from huggingface_hub import snapshot_download
folder = Path(snapshot_download("Xylolabs/FLUX.2-klein-4B-Tenstorrent-Tensix-Components", allow_patterns=["component.json", "load_components.py", "ctx_emb.safetensors"]))
spec = importlib.util.spec_from_file_location("flux_components", folder / "load_components.py")
components = importlib.util.module_from_spec(spec)
spec.loader.exec_module(components)Подробнее
Объём весов: 7 409 807 216 байт (~7,41 ГБ памяти устройства + рабочие буферы).Ограничения: отсутствуют текстовый энкодер, VAE и часть операндов модуляции — для генерации картинок нужен полный пайплайн.
Лицензия: Apache 2.0.










Comments