FRCRN_SE_16K-Tensix-BF16
порт шумоподавления для Tenstorrent
2 мин чтенияобновлено
Эта версия FRCRN_SE_16K подготовлена для Tenstorrent Tensix: веса комплексных свёрток записаны как вещественные блок-матрицы, batch normalization сложена в свёртки, все тензоры хранятся в bf16. На вход модель получает нормализованный комплексный спектр [1, 2, 321, 51] для 16 кГц аудио (FFT 640, hop 320), а на выходе выдаёт комплексную маску tanh(u1) + tanh(u2). Кадрирование, нормализацию, применение маски и синтез должна обеспечивать вызывающая реализация. Дополнительного обучения не было — это конвертация исходного чекпоинта под раскладку TT-NN. Пригодится тем, кто портирует шумоподавление речи на Tenstorrent или разбирает комплексные свёртки в TT-NN.
Ключевые особенности
- Комплексные свёртки представлены вещественной блок-матрицей
[[Wr, -Wi], [Wi, Wr]], а batch normalization сложена в выходные каналы. - Все сохранённые тензоры — bf16;
config.jsonхранит stride, padding и параметры FSMN-памяти. - Раскладка тензоров рассчитана на реализации TT-NN; дополнительного обучения нет.
- Вход — нормализованный комплексный спектр
[1, 2, 321, 51]для 16 кГц, FFT 640 и hop 320; выход — маскаtanh(u1) + tanh(u2). - Есть CPU-проверки эквивалентности с оригиналом на восьми синтетических спектрах и held-out наборе.
Что можно сделать
- Собрать инференс FRCRN для Tenstorrent через TT-NN, используя готовую раскладку тензоров и bf16-веса.
- Встроить модель в пайплайн улучшения речи на 16 кГц: подать спектр, применить маску и синтезировать аудио своей реализацией.
- Разобрать
convert_frcrn.pyкак пример перевода комплексных свёрток и FSMN в вещественные блок-матрицы для других портов. - Сравнить выход с оригинальным чекпоинтом через
equivalence.jsonили свой набор нормализованных спектров.
Пример
from safetensors import safe_open
with safe_open("model.safetensors", framework="pt", device="cpu") as f:
weight = f.get_tensor("u1.enc.0.weight")
Подробнее
CPU-проверки: held-out — 77.97 dB (float32 mask), 27.87 dB (bf16 mask), 39.12 dB (bf16 enhanced spectrum); синтетика seed 20261112 — 96.55 / 17.46 / 17.66 dB.Это мера согласия с оригиналом на CPU, а не качества аудио или скорости на устройстве.
Карточка не приводит аудио-бенчмарков; кадрирование, нормализация, применение маски и синтез — на стороне вызывающей реализации.
Лицензия Apache-2.0, проект не аффилирован с Tenstorrent.










Комментарии