WordWave
генератор текста на BiLSTM с вниманием и Streamlit-дашбордом
2 мин чтенияобновлено
WordWave — это проект для предсказания следующего токена и генерации текста на базе двунаправленной рекуррентной сети BiLSTM с механизмом аддитивного внимания (Additive Attention — слой, который помогает модели фокусироваться на самых важных частях контекста). В отличие от тяжелых трансформеров, здесь реализован компактный пайплайн на PyTorch с собственным BPE-токенизатором (разбиение слов на подслова для избавления от неизвестных токенов) и готовым веб-интерфейсом на Streamlit. Модель можно обучить с нуля на любом текстовом корпусе без предварительной подготовки файлов и сразу протестировать генерацию с оценкой метрик в реальном времени.
Ключевые особенности
- Архитектура BiLSTM + Attention — двунаправленный энкодер обрабатывает последовательность в обе стороны, а аддитивное внимание взвешивает контекст перед классификатором.
- Потоковая загрузка данных — обучение идет через
IterableDatasetна корпусах любого размера с детерминированным разделением на train/val/test по хешу BLAKE2b без утечки данных. - Автоопределение текста — эвристика проверки NULL-байтов и строгого UTF-8 сама отбирает валидные текстовые файлы в директории и игнорирует бинарники.
- Три стратегии декодирования — поддержка beam search, nucleus (top-p) и temperature sampling при генерации текста.
- Встроенная аналитика — автоматический расчет Perplexity, Top-5 accuracy, BLEU, ROUGE-L и Distinct-N с выводом в сайдбаре Streamlit.
Что можно сделать
- Обучить языковую модель на своих текстах — запустить обучение на локальной папке с книгами, статьями или кодом в UTF-8 одной командой.
- Сравнить стратегии сэмплирования — в веб-интерфейсе Streamlit менять температуру,
top_pи ширину лучаbeam_width, наблюдая за разнообразием текста и метрикой BLEU. - Использовать как учебный стенд — изучить реализацию классического NLP-пайплайна с нуля без высокоуровневых оберток вроде Transformers.
Пример
git clone [https://github.com/ang-1107/word-wave.git](https://github.com/ang-1107/word-wave.git)
cd word-wave && pip install -e ".[dev]"
python scripts/build_wiki_dataset.py --size-mb 64
python -m src.train --data-path path/to/corpus --epochs 5
streamlit run app.py
Подробнее
Стек: Python ≥ 3.10, PyTorch, Streamlit, лицензия MIT.Стабильность обучения: клиппинг градиентов по норме, планировщик ReduceLROnPlateau, early stopping и опциональный FP16 через torch.amp.
Ограничения: поддерживаются только файлы в строгой кодировке UTF-8 (устаревшие вроде windows-1252 игнорируются); встроенный загрузчик Wikitext-103 ограничен размером ~514 МБ.
В карточке не приведены готовые веса и конкретные значения метрик на бенчмарках — модель предназначена для самостоятельного обучения.










Комментарии