ucast-subtitle-compressor
умное сжатие живых субтитров без галлюцинаций
2 min readupdated
Компактная модель для классификации токенов (token-classification) от автора marcosremar2 укорачивает живые субтитры, исключительно удаляя лишние слова. В отличие от генеративных моделей, она ничего не переписывает и физически не может выдумать несуществующие цифры, имена или факты. Модель создана для сервиса ucast.me на базе мультиязычной microsoft/llmlingua-2-bert-base-multilingual-cased-meetingbank (архитектура mBERT, 0.18B параметров, 355 МБ в fp16) и работает с английским, испанским, португальским и французским языками. Подойдёт разработчикам систем транскрибации, вещательных субтитров и проекционных экранов для выступлений.
Ключевые особенности
- Только удаление слов: модель оценивает вероятность сохранения каждого слова (keep probability), а набор жёстких правил в
common.decideотбрасывает лишнее без перефразирования. - Защита критически важных данных: постобработка принудительно сохраняет числа, единицы измерения, даты, дни недели, имена, аббревиатуры, отрицания и устраняет полные повторы предложений.
- Высокая скорость на CPU: в формате ONNX int8 (178 МБ) обработка фрагмента из 25–70 слов занимает всего 13.5 мс в 4 потока на чипе Apple M4.
- Настройка агрессивности сжатия: параметр порога
w(по умолчанию0.65) позволяет балансировать между степенью сокращения текста и полнотой передачи мыслей.
Что можно сделать
- Встроить в пайплайн живых субтитров для конференций, лекций и трансляций, чтобы текст легче считывался с экрана во время речи спикера.
- Использовать как быстрый этап постобработки после систем распознавания речи (ASR) для сокращения длины строк на четырёх поддерживаемых языках.
- Настроить порог
wот0.35(безопасное сжатие ~8.1 % слов) до0.65(~20.3 % слов) под требования конкретного эфира или интерфейса.
Пример
from transformers import AutoModelForTokenClassification, AutoTokenizer
import sys; sys.path.insert(0, "compressor")
from compress import compress
tok = AutoTokenizer.from_pretrained("compressor")
model = AutoModelForTokenClassification.from_pretrained("compressor").float().eval()
text = "A reunião com a diretoria ficou para quinta-feira, dia vinte. Quem não puder ir tem que avisar a Beatriz até terça."
print(compress(model, tok, text, "pt"))Подробнее
Качество: на 1 585 новых фрагментах приw = 0.65 модель удаляет 20.3 % слов при 1.32 % серьёзных ошибок (искажение смысла), оценка по вещательной метрике NER на тестовом сплите — 99.00 %.Обучение: дообучена в течение 4 эпох на 4 868 фрагментах из mTEDx и Europarl-ST, размеченных с помощью Qwen2.5-72B-Instruct.
Ограничения: при
w = 0.65 в 23.2 % фрагментов теряется второстепенная мысль, а в 4–5 % случаев нарушается грамматика внутри предложения; не тестировалась на разговорной речи и шумном выходе ASR.Лицензия: веса распространяются под некоммерческой лицензией CC BY-NC 4.0, код в репозитории — свободный.










Comments