T5Gemma 2B-2B · YouTube transcript chaptering
LoRA для разбивки видео на главы
2 мин чтенияобновлено
Это LoRA (небольшая надстройка над базовой моделью) для google/t5gemma-2b-2b-ul2-it от автора Saltywan. Она решает задачу автоматического структурирования длинных видео: на вход подается транскрипт YouTube, разбитый на пронумерованные предложения, а на выходе модель возвращает строгий JSON-документ с оглавлением (указывает номер стартового предложения и название каждой главы). Адаптер создан в рамках проекта llm-video-chaptering и стал лучшей моделью серии, превзойдя как базовую версию, так и специализированный сегментатор MiniSeg. Инструмент пригодится разработчикам сервисов для работы с контентом и исследователям обработки естественного языка.
Ключевые особенности
- Высокая точность разметки: метрика Boundary F1 выросла с 0.149 у базовой модели до 0.500, а с допуском в два предложения достигает 0.679.
- Стабильный JSON: число ошибок синтаксиса при генерации снизилось с 477 до всего 4 сбоев на 1448 тестовых роликов.
- Работа с большими текстами: базовое окно вмещает до 8192 токенов, а более длинные транскрипты разбиваются на пересекающиеся окна с последующей склейкой.
- Готовая обвязка: в репозитории проекта на GitHub доступны скрипты для формирования промптов, нарезки окон и строгого парсинга.
Что можно сделать
- Встроить в пайплайн обработки англоязычных подкастов или стримов для автоматической генерации таймкодов по субтитрам.
- Собрать бота или веб-инструмент, который принимает расшифровку лекции с YouTube и выдает готовое оглавление с привязкой к предложениям.
- Использовать код из репозитория
llm-video-chapteringдля сравнения открытых моделей на задачах сегментации текста.
Пример
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
from peft import PeftModel
base = "google/t5gemma-2b-2b-ul2-it"
tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForSeq2SeqLM.from_pretrained(base, torch_dtype="bfloat16", device_map="cuda")
model = PeftModel.from_pretrained(model, "Saltywan/t5gemma-2b-2b-ytseg-chaptering-lora").eval()
# Полный пайплайн с build_window_prompt и parse_window_outline доступен в репозитории автораПодробнее
Бенчмарки (YTSeg, 1448 видео): Boundary F1 exact 0.500 (у базы 0.149), Boundary F1 micro 51.99 (у MiniSeg 45.81), Title BERTScore 0.651.Железо и скорость: для инференса окна до 8k токенов нужно около 13 GiB VRAM в bf16; обучение заняло 29 минут на одной NVIDIA B200.
Детали обучения: LoRA rank 16, alpha 32, dropout 0.05 на проекциях кодера, декодера и кросс-внимания (вес адаптера 73 МБ).
Ограничения: только английский язык, анализ исключительно текста без аудио/видео; модель предназначена для некоммерческих исследований (CC BY-NC-SA 4.0).










Комментарии