canine-lexical-models
нейросети для анализа собачьих «фонем» и активности
2 min readupdated
Набор предобученных весов от исследователей ArlingtonCL2 (UTA-ACL2) к научной статье EMNLP 2024 о фонетическом и лексическом анализе собачьих вокализаций. Комплект позволяет находить лай в аудиопотоке, раскладывать его на дискретные акустические единицы («фонемы») каждые 20 мс и классифицировать поведение животного по 16 категориям. В основе лежат аудиомодель hubert_base_ls960 (адаптированная в Dog-HuBERT), детектор событий PANNs, видеоклассификатор TSN-R50 и кластеризатор MiniBatchKMeans (алгоритм группировки признаков без учителя). В отличие от стандартных моделей распознавания речи человека, эти веса обучены специально на записях собак и пригодятся в биоакустике, поведенческих исследованиях и системах мониторинга животных.
Ключевые особенности
- Dog-HuBERT (379 МБ): дообученная в два этапа версия HuBERT Base на 34 056 собачьих «предложениях» (более 20 часов записей из YouTube и AudioSet) с частотой меток 50 Гц.
- Фонетическая кластеризация (0.4 МБ): модель
MiniBatchKMeansделит признаки 11-го слоя Dog-HuBERT на 140 кластеров-«фонем», из которых 29 помечены авторами как шумовые. - Детектор звуков PANNs (323 МБ): файнтюн на 1 483 размеченных клипах для покадрового поиска собачьих вокализаций и нарезки «предложений».
- Распознавание активности TSN-R50 (95 МБ): модель на базе mmaction2, обученная на 2 534 клипах для определения 16 классов действий собаки.
Что можно сделать
- Изучать структуру вокализаций: извлекать последовательности кластеров из аудиозаписей лая и скуления, отфильтровывая 29 шумовых ID для лингвистического или биоакустического анализа.
- Автоматически нарезать датасеты: использовать чекпоинт PANNs с порогом детекции 0.28, чтобы вырезать фрагменты со звуками собак из длинных видео или фоновых записей.
- Классифицировать поведение по видео: подключить веса TSN-R50 в пайплайне mmaction2 для распознавания 16 типов активности питомцев.
Пример
import joblib, torch
from fairseq import checkpoint_utils
(model,), cfg, task = checkpoint_utils.load_model_ensemble_and_task(["dog_hubert.pt"])
model.eval()
km = joblib.load("kmeans_layer11_k140.pkl")
wav = torch.zeros(1, 16000) # 16 kHz моно, без нормализации
feats, _ = model.extract_features(source=wav, padding_mask=None, mask=False, output_layer=11)
phones = km.predict(feats[0].detach().numpy())
Подробнее
Обучение Dog-HuBERT: 80k шагов на этапе 1 (100 кластеров) и 60k шагов на этапе 2 (150 кластеров), lr 1e-4.Формат входа Dog-HuBERT: моно-аудио 16 кГц без нормализации; выход — ID кластера на каждые 20 мс.
Ограничения: 29 из 140 кластеров относятся к шуму; файл k-means сохранён в scikit-learn 1.3 (в новых версиях выдаёт предупреждение).
Для запуска PANNs и TSN требуются репозитории audioset_tagging_cnn и mmaction2 с конфигами из кода статьи.










Comments