Mothor sound model
Core ML конвертация CLAP для поиска звуков на Mac
2 мин чтения
Модель представляет собой оптимизированную версию архитектуры CLAP (Contrastive Language-Audio Pretraining — модель для сопоставления текста и аудио) на базе laion/larger_clap_general, переведённую в формат Core ML для локального запуска в приложении Mothor на macOS. Она разбита на две части: аудиобашню (квантованную до int8) и текстовую башню (в формате float16) для быстрого сопоставления звуковых семплов и текстовых описаний. Инструмент используется для текстового поиска по библиотеке звуков, подбора похожих аудиофайлов и автоматического тегирования прямо на устройстве пользователя. Конвертация выполнена без переобучения весов, с переработкой графа вычислений для максимальной производительности на процессорах Apple Silicon.
Ключевые особенности
- Полная совместимость с macOS через нативный формат Core ML
- Аудиобашня с 8-битным квантованием (int8) для экономии памяти
- Текстовая башня в половинной точности (float16)
- Высокая точность приближения к оригиналу (косинусное сходство весов не ниже 0.999)
Что можно сделать
- Интегрировать модель в macOS-приложение для локального поиска по звуковой библиотеке
- Реализовать текстовый поиск звуков по описанию на устройствах Apple
- Настроить автоматическое тегирование аудиофайлов без отправки данных в облако
- Использовать эмбеддинги аудио и текста для создания систем поиска похожих звуков
Пример
Модель предназначена для интеграции в приложения через Core ML и ожидает на вход фиксированные данные: 10-секундные лог-мел спектрограммы для аудио и токены длиной до 77 для текста.
Подробнее
Базовая модель: laion/larger_clap_generalБиблиотека: coreml
Лицензия: Apache-2.0
Аудиовход: фиксированное окно 10 секунд (спектрограмма 1x1x1001x64), выход — 512-мерный эмбеддинг
Текстовый вход: 77 токенов с маской, выход — 512-мерный эмбеддинг










Комментарии