LongCap_ICLR
аудио-капшенинг и диаризация длинных записей
2 мин чтенияобновлено
Набор моделей и готовый CLI-инструмент от команды longcap для работы со звуком. Репозиторий включает два отдельных чекпоинта: LongCap для генерации описаний аудиособытий с привязкой ко времени и LongCap_Diar для диаризации (разделения речи по спикерам) с одновременной расшифровкой текста. Поддерживается работа с длинными записями через профиль long и пакетная обработка файлов в форматах WAV и FLAC. Подойдёт разработчикам голосовых сервисов и исследователям аудиоданных.
Ключевые особенности
- Два специализированных чекпоинта:
LongCapвозвращает описания событий с таймкодами начала и конца в секундах, аLongCap_Diarразбивает запись на сегменты с меткой спикера и текстом. - Пакетная обработка и докачка: вместо одного аудиофайла можно передать JSONL-манифест со списком записей, а при прерывании запуска повторная команда продолжит работу с сохранённого места.
- Клиент-серверная архитектура: модель поднимается как локальный сервер (в том числе через Docker), а инференс запускается отдельными CLI-командами с выводом результатов в
.jsonl.
Что можно сделать
- Разметить длинные аудиозаписи и подкасты: получить таймкоды реплик каждого участника вместе с расшифровкой речи с помощью
LongCap_Diar. - Собрать датасет звуковых событий: прогнать архив WAV или FLAC файлов через
LongCapс помощью JSONL-манифеста, чтобы автоматически проставить временные метки событий.
Пример
longcap serve --model ../LongCap_Diar --profile long
longcap diarize --audio /path/to/recording.wav \
--model ../LongCap_Diar --frequency-penalty 0.05 \
--output outputs/diarization
Подробнее
Требования к железу: Linux x86-64, GPU с поддержкой FP8 и большим объёмом памяти (в карточке указана NVIDIA H100 80 GB), драйвер под CUDA 13.0.Языки в метаданных: английский (en), китайский (zh).
Установка: Python 3.12, компилятор C/C++, поддерживается запуск в Docker (NVIDIA Container Toolkit,
--shm-size=16g).









Комментарии