iTransformer Electricity with CST
прогнозирование временных рядов с атомарными весами
2 мин чтенияобновлено
Модель решает задачу многомерного прогнозирования временных рядов на основе набора данных по энергопотреблению Electricity. Она принимает предыдущие 96 часовых измерений по 321 временному ряду и предсказывает следующие 96 часов. Это независимая вариация базовой архитектуры iTransformer, где стандартные проекции заменены на Polar Triweight Atoms (специальные атомарные атомные веса). Модель имеет на 15.5% меньше параметров по сравнению с эталонной плотной (Dense) моделью и подходит для анализа и прогнозирования показателей энергосистем.
Ключевые особенности
- Атомарные проекции: Замена проекций encoder FFN на Polar Triweight Atoms с сохранением обучаемого смещения.
- Снижение параметров: Содержит 4,084,320 параметров, что на 15.5% меньше по сравнению с эталоном.
- Совместимость: Поддерживает запуск на GPU и CPU через стандартный CLI-интерфейс.
- Полная комплектация: Включает конфигурацию скалера, скрипты инференса и оригинальный код архитектуры.
Что можно сделать
- Прогнозирование энергопотребления: Сделать прогноз на 96 часов вперед по CSV-файлу с историческими данными 321 серии.
- Сравнение конфигураций: Запустить инференс с использованием эталонного варианта (--variant dense) для оценки точности.
- Локальный запуск: Провести инференс на CPU или GPU, используя предоставленные safetensors-веса.
- Воспроизведение обучения: Запустить скрипты обучения на исходном датасете THUML Electricity benchmark.
Пример
Команда для загрузки репозитория и запуска инференса модели:
python -m pip install huggingface_hub
hf download takumiecd/cst-itransformer-electricity --local-dir itr-ecl
python -m pip install -r itr-ecl/requirements.txt
python itr-ecl/inference.py itr-ecl electricity.csv prediction.csv --device cuda
Подробнее
Стандартизированный test MSE: Dense 0.14778, CST 0.14982Стандартизированный test MAE: Dense 0.23948, CST 0.24189
Пиковое потребление VRAM на RTX 4090: Dense 809.4 MiB, CST 951.6 MiB
Обучение: Dense на A100 MIG, CST на RTX 4090










Комментарии