1⃣ TimeSSM-10M
компактный прогнозист временных рядов на 10 млн параметров
3 мин чтенияобновлено
TimeSSM-10M — это zero-shot модель (работает без дообучения на ваших данных) для прогнозирования временных рядов от независимого исследователя Yvann Vincent. На вход она принимает историю наблюдений длиной до 4096 шагов в любом масштабе (даже с пропусками NaN) и за один проход выдаёт 9 квантилей прогноза на нужный горизонт без авторегрессионного цикла. В основе архитектуры лежит чередование слоёв пространства состояний (S4D) и внимания (attention) по патчам из 16 шагов, дополненное модулем без обучаемых весов RateIN, который прямо во время инференса подбирает оптимальную частоту дискретизации по прошлому ряда. Несмотря на скромный объём в 9,98 млн параметров и обучение с нуля на одной видеокарте A100 за 31 час, модель по метрикам на бенчмарке GIFT-Eval сопоставима с системами на 120M–2.5B параметров. Пригодится дата-сайентистам, инженерам и аналитикам для быстрого вероятностного прогнозирования метрик, спроса или нагрузки без тяжёлых GPU.
Ключевые особенности
- Гибрид S4D и attention: 4 слоя объединяют диагональные модели пространства состояний (S4D) и каузальное внимание по патчам из 16 шагов.
- Адаптация к частоте без дообучения: слой RateIN проверяет несколько масштабов частоты на истории ряда и смешивает лучшие прогнозы без подстройки весов.
- Вероятностный прогноз за один проход: модель сразу предсказывает 9 квантилей (от 0.1 до 0.9) для всего горизонта через обучаемые будущие токены.
- Чистый zero-shot: все ряды из бенчмарка GIFT-Eval были исключены из обучающей выборки по имени и значениям.
- Полностью открытая лицензия: и веса модели, и код библиотеки
timessmдоступны под Apache-2.0.
Что можно сделать
- Прогнозировать высокочастотные метрики: лучше всего модель проявляет себя на данных с интервалом от 5 до 15 минут и часовых рядах — например, для мониторинга серверов, энергопотребления или трафика.
- Строить доверительные интервалы: использовать 9 выходных квантилей (включая медиану в 4-й колонке), чтобы оценивать не только средний прогноз, но и риски отклонений.
- Запускать на скромном железе: благодаря размеру 9,98 млн параметров модель легко встроить в локальные пайплайны аналитики или CPU/GPU-сервисы без затрат на крупные foundation-модели.
Пример
import numpy as np
import torch
from timessm import from_pretrained, delta_scale
model = from_pretrained("IUseAMouse/timessm-10m")
series = np.sin(np.arange(1024) * 2 * np.pi / 24)
context = torch.tensor(series, dtype=torch.float32).unsqueeze(0)
w = delta_scale(24, *model.delta_range)
out = model.forecast(context, 48, w=w) # [48, 9] квантилейПодробнее
GIFT-Eval (97 конфигураций, zero-shot): MASE 0.6948, CRPS 0.4763 (80% интервал покрывает 79,3% целевых значений).Среди открытых моделей до 10M параметров обходит Timestral-5M (CRPS 0.4789), FlowState-9.1M (0.5019) и Toto-2.0-4m (0.5242).
На годовых, квартальных и недельных рядах точность ниже, чем на интервалах от 5 минут до суток.
Обучена с нуля на 13,3 млрд точек публичных и синтетических рядов (200 000 шагов на 1x A100 за 31 час).










Комментарии