RetCast-JEPA
ультралегкие foundation-модели для прогнозирования временных рядов
2 мин чтенияобновлено
Семейство миниатюрных моделей с числом параметров от 2.05M до 9.19M, созданных с нуля на базе архитектуры RetNet2.0 и подхода JEPA (Joint Embedding Predictive Architecture, когда модель предсказывает смысл будущего в скрытом пространстве, а не зашумленные сырые значения). Разработка сочетает дельта-правило перезаписываемой памяти и предсказание эмбеддингов, обходя в ряде задач более тяжелые трансформеры. Модели обучались на разнообразных датасетах временных рядов без предварительного просмотра целевых тестовых задач. Решение подойдет исследователям и инженерам, которым требуется быстрый и точный прогноз временных рядов на слабом железе.
Ключевые особенности
- Экстремальная легкость: версии от 2M до 9M параметров занимают от 8 до 35 MB в памяти и требуют минимум ресурсов.
- Высокая скорость: работа в режиме инференса значительно быстрее громоздких аналогов вроде Google TimesFM 200M.
- Архитектура RetNet2.0 + JEPA: использование дельта-правила памяти и предсказания паттернов вместо пошагового зашумления данных.
- Высокая точность: низкие показатели MSE и MAE на тестах при минимальном потреблении VRAM.
Что можно сделать
- Прогнозирование рядов: строить точечные и квантильные прогнозы для числовых рядов с помощью готовых вариантов моделей (`2m`, `5m`, `9m`).
- Рекуррентный ролл-аут: запускать генерацию будущих состояний в латентном пространстве с постоянным $O(1)$-потреблением памяти.
- Тестирование архитектур: изучать компоненты модели (включая абляции на RetNet и трансформерах) для исследовательских задач.
- Интеграция в пайплайны: встраивать модели в пайплайны анализа данных на PyTorch для работы на GPU.
Пример
import torch
from retcast import RetCastJEPA
# Загружаем модель RetCast-JEPA 2M с HuggingFace Hub
model = RetCastJEPA.from_pretrained("starkprateek1/retcast-jepa", variant="2m", device="cuda")
# Подготовка контекста (B, L)
context = torch.randn(4, 512, device="cuda")
with torch.no_grad():
out = model(context, horizon_len=192, mode="chunkwise")
point = out["point"] # Точечный прогноз (4, 192)
quantiles = out["quantiles"] # Квантили прогноза
Подробнее
Бенчмарки: RetCast-JEPA 2M показывает Mean MSE 0.3706 против 0.3878 у Google TimesFM 200M.Требования к железу: версия 2M требует всего 22.0 MB VRAM при инференсе.
Лицензия: MIT.










Комментарии