Fleet-Clean-0.36B
очистка транскрипций речи от слов-паразитов
2 мин чтенияобновлено
Модель представляет собой связку из двух открытых компонентов общим размером 363M параметров, предназначенную для превращения «сырой» речи в чистый текст. Первая часть (Fleet-2) переводит аудио в текст, а вторая (словесный теггер на базе laya-multilingual) удаляет слова-паразиты, повторы и исправления, а также расставляет знаки препинания. Важная особенность теггера заключается в том, что он не генерирует новые слова, а лишь решает судьбу уже существующих (удалить или оставить). Инструмент поддерживает 8 языков и пригодится разработчикам голосовых ассистентов и систем транскрипции.
Ключевые особенности
- Двухэтапная архитектура: комбинация базовой модели распознавания речи Fleet-2 и языкового теггера.
- Многоязычность: поддержка английского, немецкого, французского, испанского, итальянского, нидерландского, польского и корейского языков.
- Безопасность редактирования: модель не выдумывает факты и не дописывает текст от себя, только удаляет мусор и правит пунктуацию.
- Гибкая настройка: возможность регулировать порог удаления слов и режимы расстановки знаков препинания.
Что можно сделать
- Транскрипция аудио: очистить записанные разговоры или подкасты от слов вроде «э-э», «как бы» и заиканий.
- Обработка текста: прогнать через скрипт готовые текстовые строки для удаления речевого мусора.
- Интеграция в пайплайны: использовать в связке с инструментами распознавания речи для получения чистого текста на выходе.
Пример
python fleet_clean.py clip.wav # clean transcript
python fleet_clean.py --json clip.wav # raw, clean and the per-word tags
python fleet_clean.py --text "so I I think, you know, we should go"
python fleet_clean.py --punct full clip.wav # also re-punctuate words away from deletionsПодробнее
Бенчмарки: на датасете DisfluencySpeech WER снизился с 18.8% до 14.6%Требования: обучено на Apple M4 (MPS) в fp32, размер 363M параметров
Ограничения: реальная разговорная речь с диверсиями тестировалась только на английском, остальные языки проверялись на синтетических данных
Лицензия: Apache-2.0










Комментарии