Formatter
очистка текста после распознавания речи
2 мин чтенияобновлено
Модель предназначена для автоматической очистки текста, полученного из систем распознавания речи (например, Whisper), для английского и португальского языков. Она удаляет слова-паразиты, ложные старты, исправления на лету и расставляет знаки препинания, не переписывая текст целиком, а классифицируя каждое слово. В основе лежит легкая базовая модель Multilingual-MiniLM-L12-H384 (~117 млн параметров), работающая прямо на CPU. Модель создана для локальных голосовых блокнотов и диктофонов, где важна скорость и работа без тяжелых LLM.
Ключевые особенности
- Высокая скорость: обрабатывает 60 слов всего за 30–50 мс на обычном процессорном ноутбуке.
- Токен-классификация: присваивает каждому слову одну из 5 меток (удалить или оставить с нужным знаком препинания), исключая галлюцинации и подмену слов.
- Обучение на синтетике: обучена на датасете из 135+ тысяч примеров с симуляцией живой разговорной речи.
- Легковесность: запускается локально без необходимости использования мощных видеокарт.
Что можно сделать
- Очистка диктовки: интегрировать модель в локальный скрипт для обработки аудиозаписей, переведенных в текст.
- Голосовой ввод: использовать в приложениях для голосового набора текста на ПК или в ботах для быстрой фильтрации речевого мусора.
Пример
import torch
from transformers import AutoModelForTokenClassification, AutoTokenizer
repo = "guihassen/formatter"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo).eval()
words = "compre o bolo na verdade não compre a torta".split()
encoding = tokenizer(words, is_split_into_words=True, return_tensors="pt")
with torch.no_grad():
predictions = model(**encoding).logits.argmax(-1)[0].tolist()
labels, previous = [], None
for position, word_id in enumerate(encoding.word_ids()):
if word_id is not None and word_id != previous:
labels.append(model.config.id2label[predictions[position]])
previous = word_id
print(list(zip(words, labels)))
Подробнее
Архитектура: Multilingual-MiniLM-L12-H384 (12 слоев, скрытый размер 384).Метрики: макро F1 на валидации составляет 0.921, точность удаления лишних слов — 97.8%.
Ограничения: поддерживает только английский и португальский языки, не исправляет опечатки в самих словах, слабо справляется с редкими типами пауз.










Комментарии