Hippo's data

[Paper review] CSDI

Hippo's data — Mon, 9 Mar 2026 22:39:13 +0900

Paper: CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation (Yusuke Tashiro et al.)
Conference: NeurIPS 2021
GitHub Repository:https://github.com/ermongroup/CSDI

GitHub - ermongroup/CSDI: Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation"

Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation" - ermongroup/CSDI

github.com

ArXiv: https://arxiv.org/abs/2107.03502

CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation

The imputation of missing values in time series has many applications in healthcare and finance. While autoregressive models are natural candidates for time series imputation, score-based diffusion models have recently outperformed existing counterparts in

arxiv.org

→ Time-series imputation 에 Diffusion 기법을 도입

1. SUMMARIZE

항목	핵심 내용
Problem	기존 시계열 결측치 대체(Imputation) 모델 한계 • 기존 결정론적(Deterministic) 방식은 하나의 값만 예측 → 불확실성(Uncertainty) 측정할 수 없음 • VAE, GAN 기반의 기존 확률론적(Probabilistic) 모델 → 시간적(Temporal) 의존성과 변수(Feature) 간의 상관관계를 동시에 포착하는 데 어려움
Method	CSDI (Conditional Score-based Diffusion Imputation) 1. 조건부 확산 모델 (Conditional Diffusion Model) • 결측치 대체를 조건부 생성 문제로 정의. • 관측된 데이터(Observed values)를 조건(Condition)으로 삼아, 노이즈가 낀 결측치(Missing values)를 역확산(Reverse process) 과정을 통해 점진적으로 복원 2. Transformer 기반 2D Attention • Temporal Attention: 시간 축(Time steps) → 시점간 의존성 모델링 • Feature Attention: 다변량 데이터의 여러 변수(Features) 간 상관관계 모델링 3. 학습 및 추론 (Training & Inference) • 관측된 데이터 중 일부를 인위적으로 마스킹(Masking)하여 타겟으로 삼고, 이를 복원하는 방식으로 자기 지도 학습(Self-supervised learning) 수행
Results	다양한 시계열 벤치마크에서 SOTA 달성 • 시계열 예측(Forecasting), 보간(Interpolation) 우수한 성능
Contribution	• 시계열 결측치 대체(Imputation) 문제에 스코어 기반 확산 모델(Diffusion Model)을 최초로 적용 • 시간과 변수 축을 모두 고려 -2D Attention 아키텍처를 제안 • 다수의 샘플링 → 결측치에 대한 신뢰 구간(Confidence Interval) → 확률론적 방법론

2. DETAIL

1. Introduction

CSDI 제안 → Score-based Diffusion Models을 conditional 방식으로 확장 → 관측값(condition)으로 부터 누락된 값 추정

→ 기존 모델 대비 좋은 성능 달성

2. RELATED WORK

딥러닝 기반 imputation

통계적 방법보다 더 정확
초기 RNN계열(RNN, LSTM, GRU)
RNN계열 + GAN, self-training, Attention 메커니즘 기법들 결합
결정론적(Deterministic, 특정 값 추정) 뿐만 아니라 확률적(Probabilistic, 분포 추정) Imputation 방식 개발

score-based generative model

생성모델 목적: 실제 데이터 확률분포 찾기
정의: 데이터의 확률 분포 p(x)자체를 직접 계산하는 대신, 데이터가 밀집된 방향(Gradient)을 학습하여 새로운 데이터를 생성해 내는 모델
- 고차원에서는 실제 데이터 확률분포 계산 불가능 → Score 이용
한계점:
- 확률분포 정의시, 모든 확률합 1로 만들어주는 Z(Normalization constant)가 정의되어야 하지만 고차원에서 Closed-form으로 계산 불가능
- Score 도입
- $\text{Score} := \nabla_x \log p(x)$*
- → 현재 데이터 x에서 확률분포 p(x)가 가장 가파르게 커지는 방향(기울기)
DDPM: 잉크의 확산(Diffusion)에서 영감받아, 데이터에 노이즈를 점진적으로 더하고 다시 걷어내는 과정(Markov Chain)으로 접근
Score-based 모델: model: 분포의 기울기(Score)를 직접 추정

→ DDPM, Score-based 모델 사실상 같은 모델 (확률미분방정식SDE → 증명)
노이즈 예측 = Score 계산
Score-Based Generative Modeling through Stochastic Differential Equations
https://arxiv.org/abs/2011.13456

Score-Based Generative Modeling through Stochastic Differential Equations

Creating noise from data is easy; creating data from noise is generative modeling. We present a stochastic differential equation (SDE) that smoothly transforms a complex data distribution to a known prior distribution by slowly injecting noise, and a corre

arxiv.org

Diffusion model 도입

해당 시기 Diffusion modeld은 비조건부 모델 (imputation은 특정 조건하에 결측치 추정)
TimeGrad → Diffusion model을 시계열 예측에 도입
- RNN 구조 사용으로 impution에는 부적합(과거→미래 시간의존성)

3. Background

3.1 Multivariate time series imputation

→ 다변량 시계열 imputation 수식적 세팅

$X = {x_{1:K,1:L}} ∈ R^{K×L}$

X: 시계열 데이터
K: 피쳐 수
L: 시계열 길이(length)

$M = {m_{1:K,1:L}} ∈ {{0, 1}}^{K×L}$

M: 관측된 마스크(observation mask)
$m_{k,l}=0$ : 누락
$m_{k,l}=1$ : 관측

$s = {s_{1:L}} \in \mathbb{R}^L$

s: 시점(time stamp)

Imputation 정의

보간(interpolation - 중간 시점 누락 채우기), 예측(forecasting - 미래 시점 누락 채우기) 포함하는 포괄적인 개념

3.2 Denoising diffusion probabilistic models

DDPM(Denoising diffusion probabilistic models)

https://arxiv.org/abs/2006.11239

Denoising Diffusion Probabilistic Models

We present high quality image synthesis results using diffusion probabilistic models, a class of latent variable models inspired by considerations from nonequilibrium thermodynamics. Our best results are obtained by training on a weighted variational bound

arxiv.org

Forward process: 원본 데이터에서 가우시안 노이즈를 추가해나감

Reverse process: 노이즈 데이터에서 노이즈 제거해나가며(denoising) 원본 데이터로 복구

Loss function: 실제 추가된 노이즈( $\mathbf{\epsilon}$)를 모델이 정확하게 예측하도록 훈련

→ CSDI: DDPM 프레임워크 기반 + 조건부(Conditional, 조건 = 관측된 데이터) 설정 도입

3.3 Imputation with diffusion models

→ CSDI → 관측값($x_0^{co}$) 을 조건으로 사용하여 누락된 값 ($x_0^{ta}$) 추정

기존 Diffusion model → 비조건(unconditional) 방식으로 작동

$x_{0:T}^{ta}$: imputation target 시퀀스 (0~T)
$x_0^{co}$: 관측값(conditional observations)

4. Conditional score-based diffusion model for imputation (CSDI)

4.1 Imputation with CSDI

기존 Diffusion 모델에서 관측된 데이터를 조건으로 사용 → 분포를 모델링

4.2 Training of CSDI

Loss function

→ CSDI self-supervised training 도식화

→ 실제 적용시, Zero padding, conditional 추가

초기 데이터: 관찰값, 결측/마스킹 값 구분
- 녹색 → 관찰값(Observed)
- 흰색 → 결측 or 마스킹 값
관찰된 데이터에서 예측할 타겟, 조건값 분리
- 관찰값(녹색) → 빨간사선(Imputation targets, $x^{ta}_0$), 파란색(Conditional observations, $x^{co}_0$) 분리
예측할 타겟값 부분의 실제 노이즈 추가
- 해당 위치의 노이즈값이 들어감
- 빨간사선(Imputation targets, $x^{ta}_0$) 부분 + 회색 점(ϵ, t 시점에 추가된 실제 노이즈) → 녹색 격자(노이즈 섞인 타겟값)
타겟값 예측 (t시점, 관찰된 값 이용)

녹색 격자(노이즈 섞인 타겟값) + t (확산 forward 단계 시점) + 파란색(Conditional observations, $x^{co}0$) → function $\epsilon_\theta$ → 회색격자 $ϵ_θ(x{t^a},t∣x_0^{co}$) (예측한 노이즈 값)

예측값, 실제 노이즈값 비교
- Loss function : $minimize ||\epsilon - \epsilon_\theta(x^a_t, t | x^{co}_0)||$ (실제 노이즈값, 예측 노이즈 값 최소화)

회색 점(t 시점에 추가된 실제 노이즈) vs 회색격자 $ϵθ(x{t^a},t∣x_0^{co}$) (예측한 노이즈 값)

→ Conditional observations 으로 Imputation targets을 예측 (=결측(값을 채우는 task)

샘플링(추론), 학습 단계에서 데이터를 어떻게 사용할지

샘플링(imputation, = 추론단계): 누락된 값 채우기

Imputation targets: 모든 결측치 대상
Conditional observations: 모든 관측값 대상

학습(training): 누락된 값을 잘 채우도록 모델을 학습

Imputation targets: 관측된 값 중 부분집합(subset) → 다양한 전략 존재(랜덤, 패턴 등)
Conditional observations: 관측된 값중 Imputation target(subset)으로 선택되고 남은 값

4.3 Choice of imputation targets in self-supervised learning

결측 유형	결측 발생 원인	예시	일반적인 처리 방법
MCAR (완전 무작위 결측, Missing Completely At Random)	우연 (단순 오류 등)	통신 오류 → 서버 데이터 삭제	결측치가 포함된 행 삭제(Drop), 평균/중앙값 단순 대체
MAR (무작위 결측, Missing At Random)	다른 데이터(변수)	주말 → 주식 거래량 누락	관측된 다른 변수들을 활용한 대체 및 보간 (interpolation)
MNAR (비무작위 결측, Missing Not At Random)	누락된 값 자체	주가 비정상적 폭락 → 주식 호가창 화면 누락	도메인 지식 반영, 결측 여부 자체를 새로운 변수(Feature)로 추가

→ self-supervised learning imputation 타겟($x^{ta}_0$) 선택 전략 (4가지)

(1) Random strategy

사용 시점: test set 결측값 패턴 모를 때
방법: [0%, 100%] 범위에서 무작위로 샘플링
- 예: train set 30% 타겟, 나머지 70% 조건 데이터
- 일반화 능력 (다양한 누락 비율에 적응)

(2) Historical strategy

사용 시점: 구조화된(structured) 결측 패턴 존재
방법:
- 현재 훈련 샘플($x_0$), 다른 무작위 샘플$(\tilde{x}_0)$ 선택
- 현재 훈련 샘플($x_0$)의 관측값, 다른 무작위 샘플$(\tilde{x}_0)$의 결측값의 교집합(intersection)을 imputation 타겟으로
- 현재 훈련 샘플 ($x_0$)에서 타겟으로 선택되지 않은 값은 조건부 관측값($x^{co}_0$)으로
- → train set의 구조화된(structured) 결측 패턴을 학습하는 방식*
- 구조적인 누락 패턴(예: 주말 동시 누락, 특정 센서들의 연쇄 고장 등)' 자체를 모델이 학습, 과적합 가능성 존재

(3) Mix strategy

사용 시점: 복합적인 상황(무작위, 구조화된 패턴)
방법: 두전략 섞음 (Random + Historical) (논문에서는 1:1비율)
- 두 전략의 장점(일반화 + 결측패턴 학습) 결합
- 과적합(overfitting) 방지, 견고함(robust)

(4) Test pattern strategy

사용 시점: test set 결측값 패턴 알 때
- 예) 미래시점 항상 결측치라는 패턴 앎 → forecasting
방법: test set 패턴대로 imputation target 설정

5. Implementation of CSDI for time series imputation

간소화 ver

디테일한 ver

입력 데이터→ 레이어를 통해 원본 X (K,L) → (K,L,C) 변환 = 피쳐수, 길이, 채널
- 채널 C → 잔차 채널(residual channel) 개수, 하이퍼파라미터
- → $x_0^{Ta}$(imputation target), $x_0^{co}$ (conditional observations) 분리(split)
- 제로 패딩(zero padding): 비어있는 부분을 0으로 채움 → 길이 맞춰줌(K x L)
원본 데이터: $X∈R^{K×L}$ (피처 K, 길이 L)
관측 마스크 $M$, 조건부 마스크 $m_{co}$
- 관측 마스크 $M$
  - 원본 전체 데이터셋 결측값, 관측값 여부 구분 목적
    - 1 → 관측값 / 0 → 결측값
- 조건부 마스크 $m_{co}$
  - 훈련시 ${x_0^{co}}$(conditional observations) 여부 구분 목적
  - $m_{co}∈{{0,1}}^{K×L}$ : 1 → $x_0^{co}$ (conditional observations) / 0 → $x_0^{Ta}$(imputation target)
    - ${x_0^{co}}$ = $m_{co}⊙X$
    - $x_0^{Ta}$ = $(M - m_{co})⊙X$
      - 훈련시 관측값 중에, ${x_0^{co}}$로 선택되지 않은 나머지 값(일부러 결측치를 만듦) → 예측 학습을 하기 위함
훈련 (train, Self-supervised learning)
- 원본 관측 데이터(X) 에서 일부를 ${x_0^{co}}$(conditional observations), $x_0^{Ta}$(imputation target)
- ${x_0^{co}}$로 결측치($x_0^{Ta}$)를 예측하는 것을 훈련
추론(interence) = 샘플링(imputation)
- 실제 관측된 모든 값을 ${x_0^{co}}$(conditional observations)로 사용 → 결측치 추론
모델 아키텍처($\epsilon_\theta$)
- Diffusion T 스텝 50고정
- DiffWave 모델 기반 → DiffWave의 Residual Block 구조를 2D로 확장
  - Paper: DiffWave: A Versatile Diffusion Model for Audio Synthesis
  - https://arxiv.org/abs/2009.09761
  - DiffWave → 디퓨전 모델을 WaveNet에 적용한 오디오 생성모델
  - WaveNet→ Causal Convolution 구조(현재, 과거정보로 피처맵 추출) → 미래 시계열 예측 모델
  - https://arxiv.org/abs/2009.09761

DiffWave: A Versatile Diffusion Model for Audio Synthesis

In this work, we propose DiffWave, a versatile diffusion probabilistic model for conditional and unconditional waveform generation. The model is non-autoregressive, and converts the white noise signal into structured waveform through a Markov chain with a

arxiv.org

DiffWave: A Versatile Diffusion Model for Audio Synthesis

arxiv.org

- **2D Attention**
    - Temporal Transformer (시간축)
        - (1,L,C) x K
        - 각 피쳐들의 **시간 의존성 포착**
    - Feature Transformer (변수 축)
        - (K,1,C) x L
        - 각 시점들의 **피처간 의존성 포착 (동일 시점 변수간 상관관계)**

Side Information 활용
- Diffusion 단계(t) 임베딩: 현재 diffusion t시점 정수값→ 128차원 임베딩(사인64, 코사인 64개 수식)
  - 현재 확산과정 어느 단계에 있는지 더 풍부한 위치정보 제공
  - $tembedding (t)
    =( \sin(10^0 \cdot \frac{4}{63} t), \dots , \sin(10^{63} \cdot \frac{4}{63} t), \cos(10^0 \cdot \frac{4}{63} t), \dots , \cos(10^{63} \cdot \frac{4}{63} t))$
  - → 서로 다른 주기를 가진 128개 사인/코사인 임베딩 벡터 생성
- 시간 임베딩 (Time Embedding): 시계열의 시간적 위치 정보 ($s_l$l)를 모델에 제공 → 128차원 임베딩
  - 각 시점의 고유한 시간 정보 제공
  - $sembedding(sl)=(sin⁡(sl/τ^{0/64}),…,sin⁡(sl/τ^{63/64}),cos⁡(sl/τ^{0/64}),…,cos⁡(sl/τ^{63/64}))$
  - $\tau = 10000$
  - → 서로 다른 주기를 가진 128개 사인/코사인 임베딩 벡터 생성
- 범주형 특징 임베딩 (Categorical Feature Embedding): K개의 특징에 대한 피쳐 정보 → 학습 가능한(learnable) 16차원 임베딩
  - 각 변수 고유한 특성 할당 (언어모델처럼 문맥적 분석X)

6. Experimental results

6.1 Time series imputation

Dataset

healthcare dataset (중환자실 intensive care unit (ICU))
- 35개 변수(feature), 48시점(hourly)
- 결측치: 원본 80% 결측
- 학습: Random strategy, 관측값 10%, 50%, 90% 결측으로 설정
air quality PM2.5 measurement
- 베이징에서 측정한 36개 관측소 12개월 측정, 각각 36개 시점
- 결측치: 원본 13% 결측
- 학습: mix(random and historical strategy)

Deterministic Imputation → 누락값 단일 값 추청

→ 100개 샘플 5번 실험 CRPS 스코어의 평균, 표준편차

→ CSDI Imputation 성능 SOTA

CRPS(Continuous Ranked Probability Score)

확률적 예측, 보간 모델 성능 평가시 사용
예측한 확률분포가 실제 관측값과 얼마나 일치하는지
점수가 낮을수록 좋음
실제수식 (2가지 버전)
- 실수 전체 구간 적분
  - $CRPS(F,y)=∫^{∞}{-∞}(F(z)−1{y≤z})^2dz$
    - $F(z)$: 예측한 누적 분포함수(Cumulative Distribution Function, CDF)
      - $1_{y≤z}$: 실제 누적분포함수
- 분위수 손실 기반 적분 → 해당 수식 근사
  - $CRPS(F^{−1},y)=∫_0^12Λα(F^{−1}(α),y)dα$
    - $F^{−1}(α)$: 누적 확률 $\alpha$(0 ~ 1)에 해당하는 값(분위수) (분위수 함수)
    - $Λα(q,z)=(α−1z<q)(z−q)$ → 분위수 손실함수
    → 두 분포간 제곱오차를 모든 가능한 값 Z에 대해 적분

근사한 수식
- 모델은 예측 분포를 함수형태로 출력하지 않음 → 예측한 분포 내의 지정한 샘플값을 출력 → 샘플들을 통해 분포 근사
- $\text{CRPS}(F^{-1}, x) \approx \frac{1}{19} \sum_{i=1}^{19} 2 \Lambda_{i * 0.05} (F^{-1}(i * 0.05), x)$
- → 각 분위수 손실값 구한 후, 적분

빨간 X: 관측값
파란원: 관측값 중 누락값
실선(녹색, 회색): 모델 예측한 imputation의 중앙값(median) (100개 샘플)
음영(녹색, 회색): 모델 예측값의 분위수 범위(5~95%) (100개 샘플)

→ CSDI가 누락값을 더 정확하게 예측

Probabilistic Imputation → 누락값 확률적 추정

→ 100개 샘플 중앙값 MAE → 5번 실험 평균, 표준편차

→ CSDI Imputation 성능 SOTA

6.2 Interpolation of irregularly sampled time series

직전 데이터셋과 동일 → irregularly 시간간격(시간 간격을 가까운 분단위로 반올림 → 불규칙하게 - 샘플 길이 각각 달라짐)

→ CSDI Imputation 좋은 성능

6.3 Time series Forecasting

5가지 데이터셋 활용
Test pattern strategy

→ CSDI Imputation 좋은 성능

7. Conclusion

한계점: 샘플링 속도 느림 → DDIM - 상미분 방정식(ODE) 활용하여 계산 효율성 개선
downstream tasks으로 확장 - Classification 등
다양한 modalities적용 (시계열을 넘어)

3. Implementation

https://github.com/ermongroup/CSDI

GitHub - ermongroup/CSDI: Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation"

Codes for "CSDI: Conditional Score-based Diffusion Models for Probabilistic Time Series Imputation" - ermongroup/CSDI

github.com

https://github.com/lmnt-com/diffwave

GitHub - lmnt-com/diffwave: DiffWave is a fast, high-quality neural vocoder and waveform synthesizer.

DiffWave is a fast, high-quality neural vocoder and waveform synthesizer. - lmnt-com/diffwave

github.com

데이터셋:
- ETTh1 (Electricity Transformer Temperature, 7개 변수: HUFL, HULL, MUFL, MULL, LUFL, LULL, OT)
- 원본: 17420 rows × 8 columns(7변수 + 1 time)
- Z-score 표준화 (변수별 mean/std), 슬라이딩 윈도우(길이 72)로 분할 (50%겹치게 → stride = 36)
- [482, 72, 7] 배치수, 시퀀스 길이, 변수 수
  - (17420 - 72) // 36 + 1 = 482
  - 첫 시퀀스: 0 ~ 71, 두 번째: 36~107, 마지막: (마지막 시작점) ~ (마지막 시작점+71)
- Train/Test = 80%/20% (Train: 385, Test: 97 시퀀스)

원본 데이터 Trendplot

학습
- 모델/optimizer:
  - CSDI 모델(DDPM기반)
  - AdamW optimizer(lr=2e-4)
  - CosineAnnealingLR scheduler(epoch 단위)→학습이 진행됨에 따라 학습률을 코사인 곡선 형태로 점진적으로 감소
- 학습 루프: 각 배치마다 마스킹 후 forward/backward, gradient clipping(기울기 폭팔방지→ 제한), Noise Schedule( Linear (β: 0.0001 → 0.02)
- 마스킹 전략: 매 배치마다 결측률 10~50% 랜덤 변동 (자기지도학습 Random strategy)
- Loss: MSE
- 500 epoch, diffusion step: 50
  1. 랜덤 결측률(10~50%)로 mask 생성
  2. forward: 랜덤 t 선택 → 노이즈 추가 → 노이즈 예측 → 결측 위치 MSE loss
  3. backward + gradient clipping (max_norm=1.0)
  4. optimizer.step()
  5. ema.update() — shadow 파라미터 (최근까지의 파라미터 변화의 평균값 저장) 갱신
    scheduler.step() — epoch 단위
- for batch in train_loader: (1 에폭 요약)

추론
- EMA 적용(Exponential Moving Average) → 학습시 모델 파라미터값 저장 → 추론시 과도하게 파라미터가 바뀌지 않도록 평균내어 반영
- 샘플 10개씩 추출 → 분포(신뢰구간), 평균내어 단일값 예측
실험
- 7개 변수 평균

Task	결측 방식	평가 대상	평가 지표
Interpolation	50% 랜덤 결측	결측 위치 복원	MAE, RMSE, CRPS
Forecasting	후반 50% (t=36~71) 전체 결측	미래 구간 예측	MAE, RMSE, CRPS
Block Missing	랜덤 2개 변수 전체 결측	변수 전체 복원	MAE, RMSE

Task	MAE	RMSE	CRPS
Interpolation (50%)	0.3831 ± 0.0685	0.5910 ± 0.1200	0.1396 ± 0.0279
Forecasting (50%)	0.6535 ± 0.1289	0.8829 ± 0.1819	0.2439 ± 0.0534
Block Missing (2 vars)	0.5791 ± 0.1985	0.7184 ± 0.2346	N/A

테스트 구간 첫번째 시퀀스 시각화

테스트 구간 전체 시퀀스 시각화

4. Discussion

논문에서는 기본적인 Diffusion 기법(DDPM) → 최신 Diffusion 기법 도입(LDM, 다양한 샘플러 등)
- TimeLDM: Latent Diffusion Model for Unconditional Time Series Generation
  - https://arxiv.org/abs/2407.04211
조건부 고도화 → RAG 기반 시계열 Diffusion
- Retrieval-Augmented Diffusion Models for Time Series Forecasting (RATD)
- https://arxiv.org/abs/2410.18712

TimeLDM: Latent Diffusion Model for Unconditional Time Series Generation

Time series generation is a crucial research topic in the area of decision-making systems, which can be particularly important in domains like autonomous driving, healthcare, and, notably, robotics. Recent approaches focus on learning in the data space to

arxiv.org

Retrieval-Augmented Diffusion Models for Time Series Forecasting

While time series diffusion models have received considerable focus from many recent works, the performance of existing models remains highly unstable. Factors limiting time series diffusion models include insufficient time series datasets and the absence

arxiv.org

Ceteris Paribus Plots (CP), Individual Conditional Expectation (ICE)

Hippo's data — Mon, 9 Mar 2026 17:35:23 +0900

요즘 XAI가 AI 연구 분야에서 매우 핫한데욥

XAI (Explainable AI) 는 말 그대로 설명가능한 인공지능 입니다!

다양한 인공지능 모델들은 복잡한 내부 연산과정으로 인해 블랙박스(Black Box)의 성질을 보이는데요

이러한 인공지능 모델이 왜 그렇게 판단을 했는지를 설명하고자 하는 분야라고 할 수 있습니다!

특히 현업에서는 아무리 좋은 예측력을 보이더라도 왜 그렇게 판단했는지에 대한 설명력이 없으면 무용지물이도라구욥,,,,

그래서! 이제부터 랩실에서 진행한 XAI 스터디 내용들을 포스팅하도록 하겠습니다!

해당 스터디는 Christoph Molnar의 'Interpretable Machine Learning' 교재를 바탕으로 진행되었습니다

https://christophm.github.io/interpretable-ml-book/

Interpretable Machine Learning

Why I wrote the book This book began as a side project while I was working as a statistician in clinical research. On my free day, I explored topics that interested me, and interpretable machine learning eventually caught my focus. Expecting plenty of reso

christophm.github.io

Short taxonomy of interpretability methods

XAI 기법을 간단히 분류(taxonomy) 하면, 해당 그림처럼 나눠지는데요

크게 2가지로 분류가능합니다

- 모델 구조가 투명해서 그 자체로 설명 가능한 방식(by-design)

- 모델 학습이 끝난 뒤, 결과가 나온 과정을 분석하는 방식(Post-hoc)

Post-hoc 방식은 이후에 2가지로 분류됩니다

- 어떤 종류든 상관없이 다 쓸 수 있는 범용적인 방식(Model-agnostic)

- 특정 모델에서만 가능한 방식(model-specific)

Model-agnostic도 2개로 분류되는데요

- 전체 데이터에 대한 전반적인 판단 기준을 보여주는 전역적 분석(Global)

- 데이터 하나하나에 대해 왜 그런 판단을 했는지 짚어주는 국소적 분석(Local)

이 중에서 오늘은 Post-hoc, Model-agnostic, Local 방식에 속하는 CP, ICE에 대해 알아보겠습니다!

Post-hoc → 모델 학습 후, 사후 설명

Model-agnostic → 모델 종류와 관계없이 설명

Local → 개별 데이터 샘플의 모델 판단 설명

Contents

12 Ceteris Paribus Plots (CP)
13 Individual Conditional Expectation (ICE)

12 Ceteris Paribus Plots (CP)

개념 및 정의

Ceteris paribus (CP)

사회과학의 연구에서 가정(assumption)으로 활용되는 라틴어 문구

뜻: '다른 모든 조건이 동일하다면'

→ 한 피쳐만 변경하고, 다른 피쳐는 그대로 유지

→ 관심 있는 피쳐 하나만 변화시켰을 때 모델의 예측값이 어떻게 변하는지

CP Curve: 특정 데이터 1건에 대한 변화 곡선 (Single line)
CP Plot: 하나 이상의 CP Curve를 모아놓음
CP Curve는 ICE(Individual Conditional Expectation)의 기본 단위, 이들을 평균 내면 PDP(Partial Dependence plot)

예시

펭귄 성별 예측

부리(Bill) 길이에 따른 암컷 확률(P(Female)) 예측
- x축: bill(부리) 길이
- y축: Female 확률
- 점(dot): 실제 펭귄 부리 길이 / ground truth male

→ 부리 길이 작으면, 초반에는 P(Female) 약간 증가, 이후 매우 감소

자전거 대여 수요 예측

온도, 계절, 요일 등 다양한 변수에 따른 자전거 대여 수요 예측

왼쪽: 범주형변수

holiday (공휴일): 현재는 공휴일 아님(N), 공휴일이 된다면(Y) 대여량이 소폭 감소
season (계절): 현재는 겨울, FALL(가을)로 바뀐다면 대여량이 2,500 근처까지 크게 상승

오른쪽: 수치형변수

cnt_2d_bfr (이틀 전 대여량): 이틀 전 대여량이 많을수록 오늘의 대여량 예측치도 급격히 상승
hum (습도): 습도가 높아질수록 대여량 예측값은 하락

모델 아키텍처별 CP Curve 비교

→ 학습한 모델 종류에 따라, CP Curve의 형태가 달라짐

Linear Model (lm) → 선형적 모델링
Decision Tree→ 계단식 (jump)
RF, SVM → 부드러운 증가

주의사항

다른 변수간 상관성(correlated) 무시됨 → 비현실적(Unrealistic) 시나리오 가능성 존재

CP 변화 (검은 화살표): 다른 조건(몸무게 약 4,000g, 종 Gentoo)은 그대로 두고, 부리 두께만 14mm에서 17.5mm로 늘린다면?
- 근처에 노란색 점(Gentoo 종)이 하나도 없음
- 몸무게는 가벼운데 부리만 엄청 두꺼운 Gentoo 펭귄은 현실에 존재하지 않음
- 비현실적(Unrealistic) 시나리오 가능성

장점 및 한계

장점(Strengths)
- 구현, 이해 쉬움
- attribution 방법 한계 보완
  - Attribution-based methods : SHAP, LIME
    - 각 피쳐가 그 결과에 얼마나 기여했는지
  - CP는 개별 예측 설명에 좋음 (예측 변화의 양상 시각화)
한계(Limitations)
- 한번에 하나 피쳐 변화만 시각화 가능 (두 변수 상호작용 확인X)
- 변수간 상관관계 있을 시, 해석 어려움

구현

dalex
- https://github.com/ModelOriented/DALEX?tab=readme-ov-file
alibi
- https://github.com/SeldonIO/alibi

GitHub - SeldonIO/alibi: Algorithms for explaining machine learning models

Algorithms for explaining machine learning models. Contribute to SeldonIO/alibi development by creating an account on GitHub.

github.com

GitHub - ModelOriented/DALEX: moDel Agnostic Language for Exploration and eXplanation

moDel Agnostic Language for Exploration and eXplanation - ModelOriented/DALEX

github.com

13 Individual Conditional Expectation (ICE)

Peeking Inside the Black Box: Visualizing Statistical Learning with Plots of Individual Conditional Expectation (Goldstein et al., 2015)

https://arxiv.org/abs/1309.6392

Peeking Inside the Black Box: Visualizing Statistical Learning with Plots of Individual Conditional Expectation

This article presents Individual Conditional Expectation (ICE) plots, a tool for visualizing the model estimated by any supervised learning algorithm. Classical partial dependence plots (PDPs) help visualize the average partial relationship between the pre

arxiv.org

→ PDP가 평균적인 경향만 보여준다는 점을 보완하여, 개별 관측치별 변화를 보여주는 ICE(Individual Conditional Expectation) 플롯을 제안

개념 및 정의

각 인트턴스(샘플)에 대해 피쳐들이 예측에 의존하는 정도를 전부 시각화(CP curve)

→ 한 줄당, 한 인스턴스

→ 각 샘플의 모든 CP curve → 한 plot에 나타낸 것

예시

자전거 대여 예측

→ 기온, 습도, 풍속에 따른 자전거 대여 예측값의 변화

비슷한 궤적: 다른 피처들(배경 환경)이 어떤 값을 가지든 상관없이, 해당 피처가 결과에 주는 영향이 일정, 변수간 상호작용 없음
제각각인 궤적: 배경 상황에 따라 피처의 영향력이 다르게 나타남, 변수간 강한 상호작용 존재

→ ICE 플롯의 선들을 계절(Season)별로 색칠하여 변수 간 상호작용을 시각화

→ 습도가 변함에 따라 각 데이터 샘플(계절별)의 예측값이 어떻게 변하는지

→ 계절별 습도의 영향이 다름

겨울: 습도 증가가 자전거 대여를 약간만 감소
여름: 습도 증가가 자전거 대여를 많이 감소 (습도 60% 이상부터)

Centered ICE plot (C-ICE)

기존 ICE 문제점: 각 인스턴스마다 기본 예측값이 다르기 때문에 곡선들이 위아래로 흩어져서 나타남

→ 각 인스턴스 마다 모양 비교 어려움

→ 해결: 특정 지점 고정 (Centering)

곡선들을 특정 피처 값(주로 해당 피처의 최솟값) 지점에서 강제로 한 점에 모이게 함
기준점 대비 예측값이 얼마나 변했는가 상대적 변화량에만 집중
$ICE_j^{(i)}(x_j) = \hat{f}(x_j, \mathbf{x}{-j}^{(i)}) - \hat{f}(a, \mathbf{x}{-j}^{(i)})$

→ 관측 최저 온도로 고정 → 예측, 실제값 차이 보여줌

Derivative ICE plot(d-ICE)

→ ICE 플롯의 각 선에 대해 미분(Derivative)을 계산하여 시각화

→ 각 곡선의 기울기 시각화

방향성: 양수(+)면 해당 피쳐 증가할 때, 예측값이 증가, 음수(-)면 해당 피쳐 증가할 때, 예측값 감소
정도: 값이 클수록 해당 지점에서 모델이 민감하게 반응 (급격한 변화)

$\hat{f}(\mathbf{x}) = \hat{f}(x_j, \mathbf{x}C) = g(x_j) + h(\mathbf{x}{-j})$

$with
\frac{\partial \hat{f}(\mathbf{x})}{\partial x_j} = g'(x_j)$

모델의 예측이 피쳐 값의 변화에 따라 어느 방향으로, 얼마나 변하는지를 나타냄으로써, 샘플 간 반응(이질성, Heterogeneity)을 시각적으로 더 쉽게 포착
상호작용(Interaction) 확인
- 상호작용: 한 피쳐가 예측값에 미치는 영향이 다른 피쳐의 값에 따라 달라지는 현상
- 상호작용이 없을 때: 예측 함수는 각 피쳐별 함수의 합으로 표현, 모든 인스턴스에 대한 미분값 동일하게 나타남
- 상호작용이 있을 때: 인스턴스마다 미분값이 다르게 나타남

특정 구간(약 4.4)에서 미분값이 크게 솟아오름, 모델의 예측이 가장 급격하게 변하는 구간
선들이 서로 다른 궤적, 피쳐 간의 복잡한 상호작용(Interaction)이 존재

장점 및 한계

장점(Strengths)
- 이해 직관적(intuitive)
- 다양한 관계 파악 용이 (개별 샘플들의 패턴)
한계(Limitations)
- 한 피쳐의 영향만 보여줄 수 있음
- 상관관계 영향 - 선의 몇 지점이 유효하지 않은 지점일 수 있음 (비현실적인 지점)
- 많은 선 → plot이 복잡해짐 → 해석 어려워짐 → 한샘플만 그리거나, 투명도 추가
- 전체 경향 파악의 어려움 → PDP plot과 결합

구현

scikit-learn - PartialDependenceDisplay

Alibibi - https://github.com/SeldonIO/alibi

GitHub - SeldonIO/alibi: Algorithms for explaining machine learning models

Algorithms for explaining machine learning models. Contribute to SeldonIO/alibi development by creating an account on GitHub.

github.com

딥러닝 데이터 학습 단위 정리 (Epoch, Batch, batch size, Iteration 등)

Hippo's data — Fri, 6 Mar 2026 17:45:09 +0900

딥러닝 모델을 학습할 때, 학습 단위 용어가 항상 헷갈린다.... 뭔가 단어도 비슷비슷하다...

그래서 각각의 학습단위 용어들에 대해 간략하게 정리해보았따! (헷갈릴때마다 봐야겠담)

딥러닝 모델을 학습시킬 때 데이터를 어떻게 쪼개고 넣느냐에 따라 부르는 명칭이 다르다

전체 데이터가 1000개인 상황을 가정하고 각 용어의 의미를 확인해보자!

학습단위 용어

1. 풀 배치 (Full Batch)

개념: 나누는 과정 없이 전체 데이터셋을 한 번에 모두 모델에 넣어 학습
예시: 1000개의 데이터를 하나로 묶어 통째로 학습

2. 미니 배치 (Mini Batch) = 배치 batch

개념: 전체 데이터셋을 여러 개의 작은 묶음으로 분할 (컴퓨터 메모리 한계 등)
예시: 전체 1000개의 데이터를 10개의 묶음으로 분할

3. 배치 사이즈 (Batch Size)

개념: 분할된 각각의 미니 배치(Mini Batch) 안에 들어있는 실제 데이터의 개수
예시: 1000개의 데이터를 10묶음으로 나눔 -> 각 묶음당 100개 데이터 개수 (1000 / 10 = 100)

4. 이터레이션 (Iteration) = 스텝 (Step)

개념: 모델이 미니 배치(Mini Batch) 1개를 가져와서 학습, 모델의 가중치를 딱 한 번 업데이트
예시: 데이터 100개짜리 묶음 하나를 학습 -> 1 이터레이션(Iteration),1 step

5. 에포크 (Epoch)

개념: 분할된 모든 미니 배치(Mini Batch)가 각각 학습 -> 전체 데이터셋이 빠짐없이 딱 한 번 학습 완료
예시: 10개의 미니 배치를 모두 학습하려면 총 10번의 이터레이션(Iteration) 필요 -> 이 10번의 학습이 모두 끝나면 1 에포크(Epoch)

-> 에포크(Epoch)를 채우기 위한 이터레이션(Iteration) 횟수 = 전체 데이터 개수 / 배치 사이즈(Batch Size)

-> 나노바나나를 통해 직관적으로 시각화해보았다

해당 데이터 1000개 예시에서는 정확히 전체 데이터가 배치사이즈 개수로 나누어 떨어졌다

하지만 정확히 나눠지지 않은 경우에는 어떤식으로 학습이 될까?

데이터가 정수 단위로 나누어 떨어지지 않을 때, 처리 방법

가정) 전체 데이터가 1,050개, 배치 사이즈 100 -> 이 경우 100개짜리 미니 배치(Mini Batch)가 10개 만들어지고, 50개의 데이터가 남게 됨

Case1: 남은 데이터만으로 마지막 배치 구성

-> 앞선 10번의 학습은 100개씩 진행하고, 남은 50개의 데이터만 모아서 마지막 11번째 미니 배치를 만들어 학습을 진행

Case 2: 남은 데이터는 버림 (Drop Last)

-> 나머지 자투리 50개는 이번 에포크(Epoch) 학습에서 제외하고, 100개짜리 10개 배치(총 1,000개)만 학습한 뒤 바로 1에포크를 끝냄

파이토치 데이터로더

from torch.utils.data import DataLoader
dataloader = DataLoader(dataset, batch_size=100, shuffle=True, drop_last=True)

shuffle=True -> 매 에폭(학습)마다 데이터가 섞임 -> 매번 남는 데이터가달라짐
모델 평가 -> shuffle=False (섞을 필요 없음)

drop_last=True -> 나눠지고 남은 데이터 버림 / False -> 남은 데이터로 마지막 배치 구성해서 학습
(Default -> False)

시계열 모델 -> 시간 순서(각 타임 스탬프)가 섞이면 안됨
-> 윈도우window 단위(각 윈도우마다 시간 순서가 유지되어 여러 타임 스탬프 포함됨)로 분할 후, 각 배치마다 포함되는 윈도우를 섞어줌(shuffle = True)

Reference

https://docs.pytorch.org/docs/stable/data.html

torch.utils.data — PyTorch 2.10 documentation

torch.utils.data Created On: Jun 13, 2025 | Last Updated On: Jun 13, 2025 At the heart of PyTorch data loading utility is the torch.utils.data.DataLoader class. It represents a Python iterable over a dataset, with support for These options are configured b

docs.pytorch.org

[Paper review] VIT(Vision Transformer)

Hippo's data — Tue, 3 Mar 2026 11:40:01 +0900

Paper: AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE (Alexey Dosovitskiy et al.)

Conference: ICLR 2021
GitHub Repository: https://github.com/google-research/vision_transformer
ArXiv: https://arxiv.org/abs/2010.11929

GitHub - google-research/vision_transformer

Contribute to google-research/vision_transformer development by creating an account on GitHub.

github.com

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to rep

arxiv.org

→ 이미지를 패치단위로 분할하여 Transformer 적용

1. SUMMARIZE

항목	핵심 내용
Problem	NLP는 Transformer가 표준이나, 비전은 여전히 CNN이 주류 • 기존 비전 모델은 이미지의 지역성(Locality)과 이동 불변성(Translation Invariance)이라는 Inductive Bias에 지나치게 의존
Method	VIT(Vision Transformer) 1. Transformer Encoder input • Image 패치화 (Patch) • Flatten + Linear Projection • CLS 토큰 추가, Position Embedding 2. Transformer Encoder • MSA(Multi Head Self-Attention), MLP • Layer Normalization (LN) • Residual Connections 3. MLP Head
Results	대규모 데이터셋에서 SOTA 달성 • ImageNet(중간 규모)에서는 Inductive Bias 부족으로 성능이 낮으나, JFT-300M(초대규모) 사전 학습 시 데이터 양으로 이를 극복하며 최신 CNN 모델을 압도. • 동일 성능 대비 CNN보다 계산 비용(Computational Cost)이 더 효율적
Contribution	• 이미지를 픽셀 그리드가 아닌 패치 시퀀스로 정의하여, 비전 문제를 NLP 방식으로 해결하는 프레임워크 제시 • 복잡한 CNN 없이 "대량의 데이터 + 기본 Transformer" 조합

2. DETAIL

1. Introduction

NLP 분야 → Transformer 도입 성공

CV분야 → 여전히 CNN 아키텍처 지배적, CNN + Self Attention 연구 진행

→ Transformer 구조 CV분야에 직접 적용하는 방식 제안

2. RELATED WORK

CV 분야 Transformer 도입 접근방식

이미지에 Self-Attention 직접 적용 → 각 모든 픽셀에 대해 어텐션 → $O(N^2)$
다양한 근사(approximate) 방식 시도(국소적, 희소(sparse), 축별(axial) 어텐션)
VIT와 가장 유사한 선행연구
- Paper: On the Relationship between Self-Attention and Convolutional Layers (2020, Cordonnier et al.)
- 2 X 2 패치 → Self-Attention (CNN 국소적인 정보처리능력을 작은 패치단위 어텐션을 통해 대체)
- 고정된 패치단위 연구 → 작은 해상도만 처리 가능 (2x2 패치)
- VIT
  - 더 큰 크기 패치→ 더 큰 해상도 처리가능, 큰 데이터셋 학습 가능

3. METHOD

3.1 VISION TRANSFORMER (VIT)

$$
\begin{aligned}
\mathbf{z}_0 &= [\mathbf{x}_{\text{class}}; \mathbf{x}_p^1 \mathbf{E}; \cdots ; \mathbf{x}_p^N \mathbf{E}] + \mathbf{E}_{\text{pos}}, && \mathbf{E} \in \mathbb{R}^{(P^2 \cdot C) \times D}, \mathbf{E}_{\text{pos}} \in \mathbb{R}^{(N+1) \times D} & \text{(1)} \\
\mathbf{z}'_\ell &= \text{MSA}(\text{LN}(\mathbf{z}_{\ell-1})) + \mathbf{z}_{\ell-1}, && \ell = 1 \dots L & \text{(2)} \\
\mathbf{z}_\ell &= \text{MLP}(\text{LN}(\mathbf{z}'_\ell)) + \mathbf{z}'_\ell, && \ell = 1 \dots L & \text{(3)} \\
\mathbf{y} &= \text{LN}(\mathbf{z}_L^0) && & \text{(4)}
\end{aligned}
$$

VIT 과정

Transformer Encoder input
Transformer Encoder
MLP Head

1. Transformer Encoder input

이미지 패치
- 원본이미지($x∈R^{H×W×C}$) → P X P 개의 패치로 분할($x_p∈R^{N×(P^2⋅C)}$)
- H: 높이 / W: 너비 / C: 채널 (RGB = 3채널)
- 패치 총 개수 N = H×W / $P^2$
평탄화(Flatten)
- 1D 시퀀스
선형투영(Linear Projection)
- $E∈R^{(P^2⋅C)×D}$ → D차원 임베딩 벡터로 변환
CLS 토큰 추가
- 패치 임베딩 제일 앞
- 최종 이미지 분류에 사용됨
- $\mathbf{x}_{\text{class}}$
위치 임베딩(Position Embedding)
- 각 패치들의 공간적 위치 정보를 유지하기 위함
- $E_{pos}∈R^{(N+1)×D}$

2. Transformer Encoder

Multi-Head Self-Attention (MSA)
- $\begin{aligned}
  \mathbf{z}'_{\ell} &= \text{MSA}(\text{LN}(\mathbf{z}_{\ell-1})) + \mathbf{z}_{\ell-1}, & \ell &= 1 \dots L & \text{(2)}
  \end{aligned}$
MLP
- $\begin{aligned}\mathbf{z}_\ell &= \text{MLP}(\text{LN}(\mathbf{z}'_\ell)) + \mathbf{z}'_\ell, && \ell = 1 \dots L & \text{(3)}\end{aligned}$
Layer Normalization (Norm)
- MSA, MLP 전 적용(Pre-LN)
Residual Connections (+)
- MSA, MLP 이후 적용
- input값을 해당 출력에 직접 더해주는 방식
- 모델이 깊어질때, 학습이 안정되도록
- = skip connection
- $\begin{aligned}
  \mathbf{z}'_{\ell} &= \text{MSA}(\text{LN}(\mathbf{z}_{\ell-1})) + \mathbf{z}_{\ell-1}, & \ell &= 1 \dots L & \text{(2)}
  \end{aligned}$
- $\begin{aligned}\mathbf{z}_\ell &= \text{MLP}(\text{LN}(\mathbf{z}'_\ell)) + \mathbf{z}'_\ell, && \ell = 1 \dots L & \text{(3)}\end{aligned}$

3. MLP Head

MLP input: $\begin{aligned}\mathbf{y} &= \text{LN}(\mathbf{z}_L^0) && & \text{(4)} \end{aligned}$
- $z^0_L$ : Transformer Encoder 마지막(L번째) CLS(0번째 인덱스) 토큰
Transformer Encoder 의 결과 y를 최종 MLP Head 입력
- Pre-train: “one hidden layer” → 선형 계층 + 활성화 함수(GELU) + 선형 계층
  - $W_2(σ(W_1y+b_1))+b_2$
- Fine-tuning: “single linear layer” → 선형계층
  - $W_1y + b_1$

Inductive bias

Inductive bias
→ 모델이 가지고 있는 기본 가정

예)
CNN → Locality
→ 이미지는 가까운 픽셀간 강한 연관성이 있다
RNN → Sequentiality, Temporal Dependence
→ 현재 정보는 과거의 정보에 영향을 받는다

→ CNN에 비해 VIT Inductive bias 약함

CNN
- 지역성(Locality) → filter를 통한 Convolution 연산은 특정 픽셀 주위만 고려
- 2차원 구조 보존 → filter는 2차원 이미지를 슬라이딩하며 공간적 구조 보존
VIT
- MLP(Transformer 인코더 내부) → 각 토큰별로 비선형 연산 → 지역성(Locality)
- Self-Attention →각 패치는 다른 모든 패치에 대해 어텐션 연산 적용 → 전역적(global)

→ 오히려 VIT의 낮은 Inductive bias → 대규모 데이터셋에 강점

Hybrid Architecture

→ 원본 이미지 패치가 아닌 CNN이 추출한 feature map(Convolution 연산)을 Transformer 입력으로 사용

CNN의 Inductive bias(지역성) + VIT의 Inductive bias(전역성) 결합
적은 데이터 셋에서는 VIT보다 좋은 성능, 데이터가 많아질 때, VIT와 성능차이 줄어듦

3.2 FINE-TUNING AND HIGHER RESOLUTION

→ 대규모 데이터 셋에서 pre-train된 VIT모델 → downstream tasks 맞춰 Fine-tuning

Fine-tuning 방법 (classification task)
- 기존 prediction head(MLP Head) 교체 (D × K feedforward layer)
  - D: 모델 hidden dimension
  - K: downstream task에서 Class 수
- prediction head 가중치 0 초기화(zero-initialize)
pre-train보다 높은 해상도의 이미지로 Fine-tuning → 성능 향상에 도움됨
- (낮은→ 높은) 해상도: 패치 크기는 일정, 패치 개수 증가

4. EXPERIMENTS

4.1 SETUP

Dataset:
- Pre-train: ILSVRC-2012 ImageNet, ImageNet-21k, JFT-300M(1만 8천개 클래스, 1천4백만 이미지)
- Transfer learning: ImageNet, CIFAR-10/100, Oxford-IIIT Pets, Oxford Flowers-102, VTAB (Visual Task Adaptation Benchmark) - (Natural, Specialized, Structured 세 종류 총 19task)
Model Variants:
- VIT(Base, Large, Huge)
- ResNet(BIT): Baseline - CNN, Group Normalization(기존 Batch Normalization)
- Hybrid: CNN Featuremap → input
Training & Fine-tuning:
- Pre-Train, Fine-tuning
Metrics:
- Fine-tuning Accuracy
- Few-Shot Accuracy

4.2 COMPARISON TO STATE OF THE ART

→ 가장 큰 VIT 모델 ViT-H/14가 여러 Task에서 좋은 성능달성

→ BIT, Noisy Student보다 적은 계산 자원

→ 동일한 VIT 모델에서도, 사전학습 데이터셋이 클 수록, 더 좋은 성능

→ VTAB task 정확도

→ 가장 큰 VIT 모델 ViT-H/14가 여러 Task에서 좋은 성능달성

4.3 PRE-TRAINING DATA REQUIREMENTS

→ 데이터셋 규모에 따른 ViT 모델 성능

ViT → 대규모 데이터셋으로 사전 학습 → 최고 성능(CNN 능가)
- CNN Inductive bias(지역성) → 작은 데이터셋에서 이점 / 큰 데이터셋에서는 VIT의 유연성이 강점

4.4 SCALING STUDY

→ 모델별 계산비용, 전이학습 성능 비교

VIT - 파란색원이 ResNet(BIT) - 회색사각형보다 전반적으로 높은 성능
- 동일한 계산비용으로 ResNet(BIT) 보다 VIT가 더 높은 성능을 보임 (계산 효율성)
낮은 계산비용→ VIT보다 Hybrid가 높은 성능 / 높은 계산비용 → VIT가 높은 성능
- 낮은 계산비용 단계에 CNN의 inductive bias 여전히 유용

4.5 INSPECTING VISION TRANSFORMER

→ ViT 모델이 이미지 데이터를 내부적으로 어떻게 처리하는지 (동작방식 이해)

→ CLS 토큰이 입력 이미지의 어떤 패치(patch)들에 가장 강하게 어텐션(attention)했는지

Attention Rollout
→ 모델이 입력데이터 어디를 보고 판단했는지 (XAI)
→ 트랜스포머 여러 레이어를 거치면서 정보 섞임 (2번째 어텐션 맵은, 1번째 레이어의 출력값에 대한 어텐션 스코어/ 최종 CLS 토큰에는 모든 레이어 어텐션 결과 누적됨)
계산방법:
→ Multi-Head Self-Attention 가중치 헤드 평균 → 각 레이어 걸쳐 재귀적으로 곱함

(좌)

$\begin{aligned}
\mathbf{z}_0 &= [\mathbf{x}_{\text{class}}; \mathbf{x}_p^1 \mathbf{E}; \cdots ; \mathbf{x}_p^N \mathbf{E}] + \mathbf{E}_{pos}, & \mathbf{E} &\in \mathbb{R}^{(P^2 \cdot C) \times D}, \mathbf{E}_{pos} \in \mathbb{R}^{(N+1) \times D} & \text{(1)}
\end{aligned}$

E 행렬 → PCA → 시각화

E 행렬: 이미지 패치 평탄화(Flatten) → 선형투영(linear projection) → Transformer 입력차원에 맞춘 가중치
특정한 패턴 보임 → 이미지의 저차원 표현 학습

(중앙)

→ 패치 1D 위치 임베딩간 코사인 유사도

각각 자기 위치에 해당하는 부분의 유사도가 가장 큼, 패치 거리가 멀수록 유사도 작아짐
= 이미지 내의 거리 개념을 효과적으로 인코딩 = 1D 위치 임베딩이 패치들의 이미지 내 공간정보(2D)를 효과적으로 포착

(우)

→ 레이어 깊이에 따른 평균 어텐션 거리

초반 - 다양한 어텐션 거리 → 깊이가 증가할수록, 대부분 헤드 평균 어텐션 거리 증가
CNN vs VIT
- CNN → inductive bias → 지역적인 정보 반영
- VIT → 초기부터 다양한 관점에서 학습

4.6 SELF-SUPERVISION

→ 자기지도학습 효과 실험

BERT의 마스크드 언어 모델링 참고 → 이미지 패치 50% 마스크 처리 → 해당 패치 평균 색상 예측

결과:

분류 다운스트림 태스크 파인튜닝 전, *가중치 *사전 학습(pre-training) → 지도학습, 자기지도학습
성능 순) 무작위 가중치 < 자기지도학습 < 지도학습
- 자기지도 학습이 어느정도 효과있음,
- 지도학습보다 효과 약함

3. Implementation

https://github.com/NoCodeProgram/deepLearning/blob/main/transformer/vitTransfer.ipynb

deepLearning/transformer/vitTransfer.ipynb at main · NoCodeProgram/deepLearning

Contribute to NoCodeProgram/deepLearning development by creating an account on GitHub.

github.com

데이터셋: CIFAR-10 (32x32 크기의 10개 클래스 이미지: 비행기, 자동차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭) (train:5만장 / test: 1만장)
목표: 10 종류 이미지 classification
모델: VIT
파라미터

optimizer: AdamW
learning rate: 1e-3
loss: CrossEntropyLoss
batch size: 128
epoch: 100

img_size = 32 # 입력 이미지 크기 (CIFAR-10: 32x32)
patch_size = 4 # 패치 크기 (4x4)
in_channels = 3 # 입력 채널 (RGB)
embed_dim = 48 # 패치 임베딩 차원
num_heads = 4 # 멀티헤드 어텐션 헤드 수
dropout = 0.1 # 드롭아웃 비율
num_layers = 4 # Transformer 인코더 레이어 수
num_classes = 10 # 분류 클래스 수 (CIFAR-10)
mlp_ratio = 4.0 # FFN(FeedForward) 중간 레이어 차원 비율

결과: Test Accuracy: 70.31% (100 에폭)

예시 이미지 8개 각 분류 결과(확률)

10000개 예제 이미지 모델 마지막 레이어 CLS 토큰 임베딩 분포
t-SNE로 2차원(embed_dim = 48차원 → 2차원)으로 분류결과 시각화

Vision Transformer(ViT) 모델의 각 레이어별 CLS 어텐션 맵 시각화
각 레이어(4)가 입력 이미지의 어떤 부분(패치)에 집중하는지 확인
레이어별 특징 추출 차이 시각화

4. Discussion

중요!!!! Swin Transformer ← locality! (baseline)

ViT + CNN Inductive Bias(지역성)

TSF - PatchTST
- PatchTST 논문명: A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS
  - https://arxiv.org/abs/2211.14730
- VIT 에서 패치 단위 분할 방식 착안
- VIT 논문명: AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

We propose an efficient design of Transformer-based models for multivariate time series forecasting and self-supervised representation learning. It is based on two key components: (i) segmentation of time series into subseries-level patches which are serve

arxiv.org

[Paper review] TimeXer

Hippo's data — Tue, 3 Mar 2026 09:59:39 +0900

TimeXer

Paper: TIMEXER: EMPOWERING TRANSFORMERS FOR TIME SERIES FORECASTING WITH EXOGENOUS VARIABLES

(Yuxuan Wang, Haixu Wu, Jiaxiang Dong, Guo Qin, Haoran Zhang, Yong Liu, Yunzhong Qiu, Jianmin Wang, Mingsheng Long)

Conference: NeurIPS 2024
GitHub Repository: https://github.com/thuml/TimeXer
ArXiv: https://arxiv.org/abs/2402.19072

GitHub - thuml/TimeXer: Official implementation for "TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous

Official implementation for "TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables" (NeurIPS 2024) - thuml/TimeXer

github.com

TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables

Deep models have demonstrated remarkable performance in time series forecasting. However, due to the partially-observed nature of real-world applications, solely focusing on the target of interest, so-called endogenous variables, is usually insufficient to

arxiv.org

TimeXer = Time Series Transformer with eXogenous variables

→ 트랜스포머 구조를 이용하여 내생 + 외생변수를 효과적으로 활용하여 예측하는 모델

1. SUMMARIZE

항목	핵심 내용
Problem	기존 접근 • Channel Independence (CI): 변수 간 상관관계를 무시하여 외부 변수의 도움을 못 받음 - PatchTS, DLinear • Channel Dependence (CD): 내생(Target) 변수와 외생(External) 변수를 구분 없이 단순 결합(Concatenation) 임베딩 - iTransformer, Crossformer, Autoformer / Informer → 현실의 시계열 예측에는 내생변수 + 외부요인(외생변수) 영향 큰 문제
Method	1. Endogenous, Exogenous 변수 임베딩 • Endogenous (내생 변수): Patch-wise (패치단위) → 각 시계열 시간적 종속성(Temporal Dependency) 포착, 전역 토큰( Global Token, 내생변수 전체 시계열 요약, 내생-외생 bridge 역할) 생성 • Exogenous (외생 변수): Variate-wise (변수단위) → 전체 시계열을 하나의 토큰으로 압축 2. Attention Mechanism • Self-Attention: 내생변수 - 패치, 전역토큰 → 각 패치 간의 시간적 종속성, 패치와 전체 시계열(전역 토큰) 간의 관계 학습 • Cross-Attention: 외생-내생(전역토큰) 변수 간 관계 학습
Results	short/long-term forecasting 성능 증명, 다양한 현실 시나리오(결측값, 시간/빈도/길이 불일치 등) 적용 가능
Contribution	복잡한 구조 변경 없이, 표준 Transformer 아키텍처로 내생 변수의 시간적 패턴과 외생 변수의 상관관계를 학습할 수 있도록 하는 범용적인 프레임워크 제안

2. DETAIL

1. Introduction

현실 시나리오 → 외생변수 중요

기존 모델의 한계:

단변량 예측: 외생 변수 정보 무시 (PatchTST, Autoformer)
다변량 예측:
- 모든 변수를 동등하게 취급 → 불필요한 복잡성 (Crossformer)
- 내생/외생 변수 간 관계를 충분히 모델링하지 못함 (iTransformer)
- 실제 외생 변수가 가질 수 있는 불규칙성(결측값, 시간/빈도/길이 불일치 등) 처리하기 어려움 (Transformer 기반 모델 → Point-wise, Patch-wise 토큰)

→ TimeXer 아키텍처 제안

내생변수 (Endogenous): x(1)
- 과거 x(1)으로 미래 x(1) 맞춤
외생변수 (Exogenous): z(1),z(2),…,z(C)
- 예측의 대상은 아니지만, 예측을 돕기 위해 참조만 하는 외부 요인

→ 다양한 현실 시나리오(결측값, 시간/빈도/길이 불일치 등) 적용 가능

각 외생변수를 단일 토큰으로 처리하므로

2. RELATED WORK

2.1 Transformer-based Time Series Forecaster

→ 장기적인 시간 의존성(temporal dependencies), 다변량 상관관계(multivariate correlations) 포착 강점

Transformer 표현의 세분성(granularity)에 따라 분류

Point-wise (점 단위)
- 각 시점(point)을 하나의 시간 토큰으로 임베딩
- 한계: 국소적인 의미 정보(local semantic information)를 잘 포착하지 못함
- Informer, Autoformer, Pyraformer
Patch-wise (패치 단위)
- 시계열 데이터를 패치(patch)로 분할, 패치들 간의 의존성을 포착
- PatchTST - 시간 축(cross-time) 어텐션 수행
- Crossformer - 시간 축(cross-time), 변수 축(cross-variate)에서 어텐션 수행
Variate-wise (변수 단위)
- 전체 시계열의 전역적인 표현 활용 → 다변량 상관관계 포착
- 한계: 변수 간의 관계를 잘 파악, 전체 시계열을 하나의 변수 토큰으로 임베딩 → 내부적인 시간적 변화를 포착하는 능력 부족
- iTransformer - 각 변수를 토큰으로 → 다변량 토큰간 어텐션 → 변수 간 상호 관계 파악

. → former

✧: 다변량 예측 시나리오에 적용될 수 있지만, 명시적(explicit)으로 변수 간의 교차 의존성(cross-variate dependency)을 모델링하지는 않음

Univariate (단변량): 단일 변수로 단일 변수 예측
Multivariate (다변량): 여러 변수로 여러 변수 예측
Exogenous (외생 변수 활용): 예측 대상 변수(내생 변수) 외에 예측에 도움이 되는 외부 정보(외생 변수)를 활용할 수 있는 능력

→ TimeXer는 단변량, 다변량, 외생 변수를 활용하는 시나리오까지 처리 → 범용적인(general) 능력

2.2 Forecasting with Exogenous Variables

외생변수 결합 기존 접근법

통계적 기반
- ARIMAX, SARIMAX
- 주로 선형관계 가정, 다수 외생변수 불규칙한 특징 다루는데 한계
딥러닝 기반
- TFT - 변수 선택에 중점(해석)
- NBEATSx, TiDE

→ 내생/외생 시계열의 시간 정렬(alignment) 필수

→ 결측값, 불균일한 샘플링 등으로 인해 시간 정렬 어려움

→ TimeXer- 각 외생변수를 변수 토큰(variate token)으로 임베딩 → 문제해결

3. TimeXer

(a) 내생 변수를 패치(patch)로 분할하여 임베딩, 전역 토큰(global token) 도입

(b) 외생 변수를 각 변수 토큰(variate token)으로 임베딩

(c) 내생 변수 각 패치, 전역 토큰 간 Self-Attention

(d) 내생 전역 토큰, 외생 변수 토큰 간 Cross-Attention

Problem Settings

입력
- 내생변수(endogenous): $x_{1:T}$ = ${x_1,x_2,…,x_T}∈R^{T×1}$
  - 1 ~ T 시점까지 과거값
- 외생변수(exogenous): $z_{1:T_{\text{ex}}}$ = ${z^{(1)}{1:T{\text{ex}}}, z^{(2)}{1:T{\text{ex}}}, \dots, z^{(C)}{1:T{\text{ex}}}} \in \mathbb{R}^{T_{\text{ex}} \times C}$
  - C개 외생변수
  - 1 ~ Tex 시점까지 과거값
- look-back 길이 유연하게(flexible) 처리 가능
  - 외생, 내생변수 길이(look-back) 달라도 처리가능
  - $T_{\text{ex}} \neq T$
출력
- $\hat x = {{x_{T+1}, x_{T+2}, ..., x_{T +S} }}$
- 미래 S 시점의 내생 변수 값 예측
모델
- $\hat x_{T+1:T+S}=F_θ(x_{1:T},z_{1:Tex})$

Endogenous Embedding

$$ \begin{aligned} \{ \mathbf{s}_1, \mathbf{s}_2, \dots, \mathbf{s}_N \} &= \text{Patchify}(\mathbf{x}), \\ \mathbf{P}_{\text{en}} &= \text{PatchEmbed}(\mathbf{s}_1, \mathbf{s}_2, \dots, \mathbf{s}_N), \\ \mathbf{G}_{\text{en}} &= \text{Learnable}(\mathbf{x}). \end{aligned} $$

Patch-wise Token
- 패치화 (Patchify): 내생 변수를 겹치지 않는(non-overlapping) 패치단위로 분할
  - 각 패치는 Local Temporal Pattern 표현
- 패치 임베딩 (PatchEmbed): 각 패치 임베딩 $P_{\text{en}}$ (D차원 벡터)
Global Endogenous Token
- 학습 가능한 전역 토큰 $G_{\text{en}}$ 생성 (VIT, Vision Transformer 에서 영감받음 - learnable global endogenous token)
- 전역 토큰은 거시적 정보(macroscopic) 표현

Exogenous Embedding

$\mathbf{V}_{\text{ex},i} = \text{VariateEmbed}(\mathbf{z}^{(i)}), \quad i \in {1, \dots, C}$

Variate-level Token
- 각 변수(1~C)가 하나의 토큰으로 임베딩
이유
- 결측값, 시간 스탬프, 샘플링 빈도, 길이 불일치 처리
- 각 변수를 패치단위 처리 → 계산 복잡성과 메모리 사용량 큼
- 외생변수의 거시적(Macro) 정보 반영

Endogenous Self-Attention

$$
\begin{aligned}
\text{Patch-to-Patch: } & \mathbf{\hat{P}}^{l,1}_{\text{en}} = \text{LayerNorm} \left( \mathbf{P}^{l}_{\text{en}} + \text{Self-Attention} (\mathbf{P}^{l}_{\text{en}}) \right) \\
\text{Global-to-Patch: } & \mathbf{\hat{P}}^{l,2}_{\text{en}} = \text{LayerNorm} \left( \mathbf{P}^{l}_{\text{en}} + \text{Cross-Attention} (\mathbf{P}^{l}_{\text{en}}, \mathbf{G}^{l}_{\text{en}}) \right) \\
\text{Patch-to-Global: } & \mathbf{\hat{G}}^{l}_{\text{en}} = \text{LayerNorm} \left( \mathbf{G}^{l}_{\text{en}} + \text{Cross-Attention} (\mathbf{G}^{l}_{\text{en}}, \mathbf{P}^{l}_{\text{en}}) \right)
\end{aligned}
$$

Patch-to-Patch: 패치간 시간 관계 학습
Global-to-Patch: 전역 토큰(query), 패치 토큰(key, value) → 전역 토큰이 패치 토큰으로부터 시계열 세부 정보 학습
Patch-to-Global: 패치 토큰(query), 전역 토큰(key, value) → 패치 토큰이 전역 토큰으로부터 시계열 전체 맥락 학습

$\hat{\mathbf{P}}_\text{en}^l, \hat{\mathbf{G}}_\text{en}^l = \left(\text{LayerNorm} \left(\left[\mathbf{P}_\text{en}^l, \mathbf{G}_\text{en}^l\right]\right) + \text{Self-Attention} \left(\left[\mathbf{P}_\text{en}^l, \mathbf{G}_\text{en}^l\right]\right)\right)$

overall process → 실제 연산은 모든 토큰을 합쳐(concatenation, $\left[\mathbf{P}_\text{en}^l, \mathbf{G}_\text{en}^l\right]$) 3가지 연산이 한번에 수행됨(Self-Attention)

즉, 입력 시퀀스를 [Global_Token, Patch_1, Patch_2, ...] 형태로 Concatenation(연결)한 뒤, Self-Attention

Exogenous-to-Endogenous Cross-Attention

전역 토큰은 내생 시계열 정보 요약한 상태 (이전 Self-Attention)
Cross-Attention → 전역 토큰이 외생변수 정보 학습 (중요한 외생 변수 선택적 가중치)
- 전역 토큰(query), 각 외생 변수 토큰(key, value)

$$
\hat{G}^{n}_{l+1} = \text{LayerNorm}(\hat{G}^{n}_{l+1}) + \text{Cross-Attention}(\hat{G}^{n}_{l+1}, V_{\text{ex}})
$$

Forecasting

FFN(Feed-Foward network)
- $G_{\text{en}}^{l+1} = \text{Feed-Forward}(\hat{G}_{\text{en}}^{l+1})$
- $P_{\text{en}}^{l+1} = \text{Feed-Forward}(P_{\text{en}}^{n})$
- $\text{FFN}(x) = \text{Activation}(x W_1 + b_1) W_2 + b_2$
- 각 패치, 전역 토큰 FFN 통과
- 비선형성, 복잡한 관계 학습

Forecasting Loss
- MSE(Mean Squared Error)
선형 투영(Linear Projection)
- $Output=Input×W+b$
- $\hat{x} = \text{Projection}([P_{\text{en}}^L, G_{\text{en}}^L])$
- Linear Projection을 통해 최종 예측값 생성
- Encoder-only 구조이므로 한번에 여러시점 예측
Parallel Multivariate Forecasting
- 각 변수마다 하나는 내생변수, 나머지는 외생변수로 취급 → 병렬적으로 예측 가능
  - iTransformer, Crossformer → 모든 변수(C개)를 한 번에 타겟→ 관계학습 → 한번에 모든변수 예측값 뱉어냄
  - TimeXer → 각 변수를 타겟(내생)으로 놓고 나머지 외생으로 (C번 수행, 병렬적으로 가능)
- 각 변수 예측시, 가중치 공유(Parameter Sharing) 가능

4. EXPERIMENTS

Setting

short-term forecasting: Electricity Price Forecasting(EPF) - 5개 전력시장 데이터, 2 외생/1 내생변수
- Look-back: 168 / Prediction length: 24 / Patch length: 24 (non-overlapping)
long-term forecasting: 7개(ECL, Weather, ETTh1, ETTh2, ETTm1, ETTm2, Traffic)
- Look-back: 96/ Prediction length: 96, 192, 336, 720/ Patch length: 16 (non-overlapping)

Baselines

Transformer-based: iTransformer, PatchTST, Crossformer, Autoformer
CNN-based: TimesNet, SCINet
Linear-based: RLinear, DLinear, TiDE(외생변수 특화)

Metric

MSE, MAE

4.1 Main Results

short-term forecasting
- Transformer based > Linear based (변수간 상호작용 interaction 파악 한계)
- TimeXer SOTA
- Crossformer - 다양한 segment 수준에서 분할 → 불필요한 노이즈(noise) 가능성
- iTransformer - temporal dependency 포착 한계

long-term forecasting
- 대부분 TimeXer SOTA
  - MSE > MAE : MSE는 극단적인 오차를 과도하게 반영 (제곱계산)
  - 급변 지점 예측
    - TimeXer, PatchTST (patch-wise 방식) → 전반적인 추세 잘예측하지만, 급변지점 놓칠 수 있음 (평활화 하는 경향)
    - iTransformer (Variate-wise 방식) → 급변지점이 특졍 변수와 강한 연관성 → 구조적 강점traffic dataset → iTransformer 낮은 성능

4.2 Ablation Study

Ex: 외생변수(Exogenous)

En: 내생변수(Endogenous)

P: patch token

G: learnable global token

V: variate token

Ours(기존 TimeXer): 가장 우수한 성능
Replace (외생변수 V → P): 외생변수는 세밀한 시간정보를 반영하는 패치 토큰(P) 보다 전체 정보를 담는 변수 토큰(V)이 더 효과적 / 각 변수 패치토큰(P) 임베딩 → 불필요한 노이즈 담길 수 있음
Remove (내생 G 제거): 전역 토큰(G)이 Bridge 역할 잘 해냄(내생변수 거시적 정보 + 외생변수 정보)
Add: 기존 Cross Attention → 내생, 외생변수 단순히 더함(Add) - Cross Attention이 외부정보 통합시 유용
Concatenate: 기존 Cross Attention → 내생, 외생변수 연결(Concatenate) 후, Self-Attention
- Concatenate - 외생변수 간 상호작용 고려 → 단순 Cross Attention 유용

→ 즉, 외생변수는 변수단위 토큰(V) 효과적 / 전역 토큰(G)의 효과 / 변수간 상호작용은 Cross Attention 이 효과적

4.3 TimeXer Generality

4.3.1 Practical Situations

Increasing Look-back Length

Look-back Length 길수록, 성능향상
특히 외생변수(Exogenous)보다 내생변수(Endogenous) 길이 늘릴 때, 더 큰 성능 향상 (둘다 늘리면 더 좋음)
외생변수 길이 성능편차 크지 않음 → 외생 변수간 불일치(misalignment)에도 잘 작동함

Missing Values

→ 내생, 외생변수 0으로 채움(Zeros) or 랜덤값(0~1범위 무작위)

내생변수(Endogenous)에 변화를 줄 시 오차값 큰 변동 → 내생변수(Endogenous)가 예측성능에 직접적 관련
외생변수(Exogenous) 변화에는 강건함(Robust) - 성능변동 크지 않음

→ 외생변수가 유용하지 않더라도(결측, 특정값 변형 등), 내생변수가 예측을 주도함

4.3.2 Scalability

→ 큰, 복잡한 데이터셋 얼마나 잘 작동하는지

Dataset : large-scale weather dataset - National Centers for Environmental Information (NCEI)
내생변수: 각 관측소 기온 (시간별)
외생변수: 각 관측소 근처 기상지표 (내생변수와 샘플링 빈도 다름 - 3시간별)
TimeXer SOTA

4.4 Model Analysis

Variate-wise Correlations

→ 내생변수와 유사한 형태를 보이는 외생시계열이 큰 Attention score를 보임

→ TimeXer의 Cross-Attention이 유용하게 외생 변수를 선택, 해석가능(interpretability) Attention map 제공

Model Efficiency

ECL 데이터셋 - (320개의 외생 변수 - 대규모 시계열 데이터셋)

메모리사용, 훈련시간 측면 → TimeXer가 iTransformer보다 효율적
- iTransformer: 모든 변수(외생, 내생)에 대해 Self-Attention
- TimeXer: 외생변수 - variate embedding / 내생 - 외생 변수 상호작용 → Cross-Attention (외생변수간 상호작용 어텐션 생략)

3. Implementation

Dataset: ETTh1 (중국 전력 변압기 온도 데이터)
길이: 2년(2016-2018), 시간단위(17,420 시간)
Look-back Length: 96 → FCST Length: 24
내생변수: Oil Temperature / 외생변수 (6개): HUFL, HULL, MUFL … 등
모델 아키텍처
- 입력: [배치, 시계열길이(96), 변수(7)]
- Patch 분할: patch_len=2 → 48개 패치 + Global Token
- 임베딩:
  - 타겟(Endogenous): Patch Embedding + PositionalEmbedding
  - 외생변수(Exogenous): Variate Embedding (시간→변수)
- 인코더:
  - 3개 레이어
  - 각 레이어:
    - Self-Attention (패치 간 관계)
    - Cross-Attention (Global Token ↔ 외생변수)
    - FeedForward(Conv1d)
- 헤드:
  - Flatten + Linear → 예측값(24시점)
파라미터

class Configs:
    task_name = 'long_term_forecast'
    features = 'MS'           # MS: Multivariate-to-Single
    seq_len = 96              
    pred_len = 24             
    enc_in = 7                # ETTh1: 6개 외생변수 + 1개 타겟
    c_out = 1                 
    d_model = 64              
    d_ff = 128                
    n_heads = 2              
    e_layers = 3              
    patch_len = 4            
    factor = 3                
    dropout = 0
    activation = 'gelu'
    use_norm = True           
    learning_rate = 0.001
    batch_size = 64
    epochs = 120

X/Y축: Patch 토큰들 (P0~P47 → patch length 2로 쪼갠 패치) + Global Token (GLB)

→ 각 인코더 레이어별 패치-글로벌 토큰 Self-Attention 가중치 시각화

→ 레이어별로 서로 다른 구간/패치/글로벌 토큰에 집중하며 다양한 패턴을 학습(레이어 깊어질수록 국소적/세부적 정보에서 거시적/전역적인 정보 포착해나감)

각 인코더 레이어별 글로벌-외생변수 어텐션 가중치 시각화

→ 레이어별로 집중하는 외생변수 다름

첫번째 레이어 각 헤드별 어텐션 스코어
Self-Attention (위쪽) - 패치간 Self-Attention
- X축(Key), y축(Query)
- 참조되는 패치→ 시계열을 patch_len=2로 쪼갠 48개 패치
- 각 패치가 어느 패치와 유사한지
Cross-Attention (아래쪽) - 외생변수, 전역토큰 간 Cross-Attention
- X축(Key): 외생변수 (6개)
- y축(Query): 내생변수 전역토큰 (Global Token)
- Global Token이 예측할 때, 어떤 외생변수를 얼마나 참고하는지

→ 헤드별로 서로 다른 패턴/특징을 학습 중

4. Discussion

TimeXer는 외생변수를 variate-wise 토큰화함 → 만약 Look-back Window 가 매우 길다면, 토큰화 가정에서 정보손실?, 예측력에 영향? (외생변수의 세밀한 시점 정보가 희석될 수 있음)
- TimeMixer 모델 찾아보기
외생변수 또한 Patch 단위로 분할하여 반영한다면?
- Crossformer ->모든 변수를 패치로 쪼개고, 시간과 변수 차원 모두에서 Attention을 수행
외생변수도 내생변수처럼 글로번 토큰, 패치화해서 반영한다면?
미래 예측시점 실시간 정보 반영하는법? → 외생변수를 늘려서 토큰화 후, input?

[Paper review] TimesNet

Hippo's data — Tue, 10 Feb 2026 21:38:27 +0900

오늘날까지도 TSF(Time-series Forecasting)에서 압도적인 성능을 보여주고 있는 TimesNet에 대해 알아보도록 하겠습니다!

특히 시계열 데이터를 1D Vision Task로 치환해서 시계열 예측에 도입했던 TCN 모델과 유사하게 TimesNet는 2D Vision Task로 치환해서 시계열 예측에 도입한 모델입니다!

간단한 논문리뷰와 예제 데이터를 통한 실습까지 진행해보도록 하겠습니다!

Paper: TIMESNET: TEMPORAL 2D-VARIATION MODELING FOR GENERAL TIME SERIES ANALYSIS

(Haixu Wu, Tengge Hu, Yongliu Liu, Hang Zhou, Jianmin Wang, Mingsheng Long)

Conference: ICLR 2023
GitHub Repository: https://github.com/thuml/Time-Series-Library
ArXiv: https://arxiv.org/abs/2210.02186

GitHub - thuml/Time-Series-Library: A Library for Advanced Deep Time Series Models for General Time Series Analysis.

A Library for Advanced Deep Time Series Models for General Time Series Analysis. - thuml/Time-Series-Library

github.com

TimesNet: Temporal 2D-Variation Modeling for General Time Series Analysis

Time series analysis is of immense importance in extensive applications, such as weather forecasting, anomaly detection, and action recognition. This paper focuses on temporal variation modeling, which is the common key problem of extensive analysis tasks.

arxiv.org

다양한 주기(period) 포착→ 시계열 분석을 2D vision task로 치환

1. SUMMARIZE

항목	핵심 내용
Problem	1D 시계열 표현 한계, 다중 주기성(Multi-periodicity) -> 현실의 시계열 데이터는 여러 주기가 중첩된 복잡한 형태 -> 기존 1D 모델(RNN, TCN, Transformer)은 인접 시점의 정보만 포착할 뿐, 서로 다른 주기 간의 변동성(Temporal Variation)을 효과적으로 모델링하지 못함
Method	1. 1D to 2D Transformation (구조 변환) • Periodicity Discovery: FFT(고속 푸리에 변환)를 수행하여 데이터 내에서 Top-k개의 주기(Period) 감지 • Reshape: 감지된 주기를 기준으로 1D 시계열을 2D 텐서로 변환 → '주기 내 변동(Intra-period, 열)', '주기 간 변동(Inter-period, 행)'을 2D로 구조화 2. TimesBlock (특징 학습) • 2D Vision Backbone: 변환된 2D 텐서에 Inception Block을 적용하여, 다양한 크기의 커널(Multi-scale)로 2D 공간의 지역적/전역적 패턴을 동시에 학습 • Adaptive Aggregation: 각 주기별로 학습된 k개의 표현(Representation)을 주파수 진폭(Amplitude) 기반 가중합으로 결합하여 최종 출력 생성
Results	범용적인(Task-General) 시계열 분석 성능 입증 장/단기 예측, 결측치 보간, 분류, 이상 탐지 등 5가지 주요 시계열 태스크에서 SOTA
Contribution	Time Series Analysis as 2D Computer Vision 시계열 데이터를 1D 시퀀스가 아닌 2D 비전 문제로 치환하는 새로운 프레임워크를 제안 복잡한 시계열 전용 모듈 설계 없이도, 검증된 최신 2D 비전 백본 모델(ResNet, Swin Transformer 등)을 시계열 분석에 직접 적용할 수 있는 범용적인 기반(Foundation)을 마련

2. DETAIL

1. Introduction

기존 1D 구조 한계: 인접한 시점간 변동만 파악

→ intraperiod, interperiod 활용하여 1D → 2D 로 재구성

intraperiod(= 주기 내 변동):
- 특정 주기 안에서의 변화 패턴
- 열(columns)
- 예) 1월의 30일 변화 패턴
interperiod(= 주기 간 변동):
- 서로 다른 주기 간 변화 패턴
- 행(rows)
- 예) 1,2,3 … 각 월 끼리의 변화 패턴

2. RELATED WORK

기존 방법론

정의된 패턴 가정한 모델 - ARIMA, Holt-Winter, Prophet
- 실제 현실에서는 복잡한 변동성으로 인해 정의된 패턴으로 커버 불가능
딥러닝 기반
- RNN 기반 - 장기의존성 한계, 계산 비효율성
- TCN 기반 - 지역적 특성 포착에는 장점 / 장기 의존성 한계
- Transformer 기반 - 시점간 쌍별(pair-wise) 의존성 포착 / 명확한 의존성 포착 한계

기존 1D 시계열 한계

인접 시점 정보 포착은 잘하지만, 여러 시점에 걸친 패턴 포착에는 한계점 존재

→ 2D 시계열 제안

3. TIMESNET

3.1 TRANSFORM 1D-VARIATIONS INTO 2D-VARIATIONS

→ FFT 적용하여 Top k개의 주파수를 찾아내어 각각 k개의 주기 길이를 계산

$X_{1D}∈R^{T×C}$: 1차원 시계열 데이터
$FFT(X_{1D})$: 1차원 시계열 데이터에 FFT(Fast Fourier Transform, 고속 푸리에 변환) 적용
$Amp(⋅)$: 분해된 각 주파수 스펙트럼 진폭(amplitude, 높이) 계산
Avg(⋅): 여러 변수(multivariate)의 진폭 평균 (단변량(univariate)일 경우, 생략)

즉, A는 각 주파수들의 상대적인 중요도 나타냄

$f_1,…,f_k$: A에서 가장 큰 k개(hyper-parameter)의 진폭 값을 갖는 주파수들 선택
- 목적
  - 주파수 도메인 희소성(Sparsity) 고려 - 특정 주파수에 주기성이 몰려있는 특징 고려
  - 고주파 노이즈 제외
$Topk_{f∗∈{1,…,⌊T/2⌋}(A)}$: 해당 선택된 주파수 인덱스 탐색
- 1 ~ $⌊T/2⌋$: 1부터 총 시계열 길이 T의 절반까지 탐색(FFT를 통해 분해된 주파수는 대칭성을 가지기 때문→ 주파수 영역의 켤레성 (conjugacy of frequency domain))
$pi=⌈T/fi⌉$: 각 선택된 주파수 $f_i$ 에 해당하는 주기(period) $p_i$ 계산
- 주기계산 → 시계열 길이 T를 해당 주파수 $f_i$로 나눔 (올림연산 → 정수값)

→ 위의 과정을 요약한(summarize) 수식

1D → 2D 변환

$Padding(X_{1D})$: 2D 텐서 형태로 구성하기 위해 제로 패딩 추가
$Reshape_{p_i, f_i}$: 1D → 2D ( $p_i$개 행과 $f_i$개 열)
- $p_i$: 행, 주기 길이, interperiod = adjacent periods
- $f_i$: 열, 해당 주기에 대한 주파수(frequency)의 역수, intraperiod = adjacent time points
  - 주기(p): 한 번 반복되는 데 걸리는 시간
  - 주파수(f): 단위 시간당 반복되는 횟수
  - f=1/p (역수관계)

푸리에 변환( Fourier Transform)이란?
→ 복잡한 신호는 단순한 파동들의 합으로 표현 가능함
정의: 시간에 따라 변하는 신호(Time Domain) → 주파수 성분(Frequency Domain)으로 분해

구분	DFT (Discrete Fourier Transform)	FFT (Fast Fourier Transform)
정의	이산 데이터를 주파수로 변환하는 수학적 공식(Definition)	DFT를 컴퓨터가 빠르게 계산하기 위한 고속 알고리즘(Implementation)
방식	데이터 전체를 1:1로 내적하여 계산	데이터를 반으로 쪼개는 분할 정복(Divide & Conquer) 방식
속도	O(N^2) (느림)	O(N log N) (매우 빠름)

3.2 TIMESBLOCK

→ 각 레이어 l의 연산

→ 잔차 연결(residual connection) 구조: TimesBlock 출력을 이전 레이어의 출력에 더하여 다음 레이어의 출력 생성

Capturing temporal 2D-variations

주기추출, 2D 텐서로 변환, Inception블록을 이용하여 특징추출, 1D로 변환

Trunc(⋅): 패딩으로 인해 추가된 부분 제거, 기존 시계열 길이 T에 맞게 자름
Shared Inception Block
- 시계열에서 발견된 'K'개의 주기성 각각에 대해 생성된 2D 텐서들을 처리하기 위해 동일한 하나의 Inception block 공유(shared)
- 추출된 주기성 수 K에 관계없이 모델의 전체 크기는 크게 변하지 않음(model size invariance)

Adaptive aggregation

→ 여러 주기에 대해 처리된 2D 텐서 특징($X_{ID}^{l,i}$)들을 중요도 가중치($A_{f_i}^{l−1}$)와 곱하여 결합

$A_{f_i}^{l−1}$: 각 주파수의 진폭(amplitude = 중요도 가중치)을 Softmax 함수를 이용하여 확률로 표현(0~1, 총합=1)

Generality in 2D vision backbones

다양한 2D 백본(Inception, ResNet, Swin Transformer, ConvNeXt 등)을 시계열 분석에 활용가능

4. EXPERIMENTS

Baselines

RNN 기반: LSTM (1997), LSTNet (2018), LSSL (2022)
CNN 기반: TCN (2019)
MLP 기반: LightTS (2022), DLinear (2023)
Transformer 기반: Reformer (2020), Informer (2021), Pyraformer (2021a), Autoformer (2021), FEDformer (2022), Non-stationary Transformer (2022a), ETSformer (2022)
각 작업별 최신 모델: 단기 예측을 위한 N-HiTS (2022) 및 N-BEATS (2019), 이상 탐지를 위한 Anomaly Transformer (2021), 분류를 위한 Rocket (2020) 및 Flowformer (2022)

4.1 MAIN RESULTS

(좌) 장기 예측, 단기 예측, 결측치 보간, 분류, 이상 탐지 등 다섯 가지 분야에서 SOTA 달성
(우) 다양한 비전 백본 모델로 교체 → 더 효과적인 성능 확보 가능

4.2 SHORT- AND LONG-TERM FORECASTING

Long-term Fcst

past sequence length, Fcst length
ILI Dataset: 36, {24, 36, 48, 60}
Others: 96, {96, 192, 336, 720}

Short-term Fcst

Fcst length: [6, 48]

→ Long-term, Short-term FCST에서 대부분 SOTA 달성

4.3 IMPUTATION

randomly mask {12.5%, 25%, 37.5%, 50%}

96 length

→ SOTA 달성

4.4 CLASSIFICATION

UEA Time Series Classification Archve 데이터셋 - multivariate(10개 변수)
기존 SOTA Rocket, Deep model Flowformer 뛰어넘는 성능

4.5 ANOMALY DETECTION

5가지 이상탐지 벤치마크 데이터셋
- SMD, MSL, SMAP, SWaT, PSM
sliding window 방식 → 연속적, 겹치지않는 segment로 분할

FEDformer, Autoformer 같은 advanced Transformer기반 모델 능가
일반적인Transformer기반 모델은 평균적으로 낮은 점수
- 다수의 정상시점에 의해 오판될 가능성 존재 (이상탐지는 희귀한 비정상 패턴을 식별해야 하는 반면)
주기성 추출한는 모델(TimesNet, FEDformer, Autoformer) 우수한 성능 → 이상탐지에 주기성 고려 중요

4.6 MODEL ANALYSIS

Representation analysis

CKA similarity (Centered Kernel Alignment)

신경망의 다른 계층(layer)에서 학습한 표현(representation) 간의 유사성 측정
- 높음: 계층간 표현이 유사 → 신경망이 깊어지더라도 학습되는 특징들이 크게 변하지 않음 (저low 수준의 일반적인 특징 학습)
- 낮음: 계층별 표현이 구별됨 → 신경망이 깊어지면서 특징들이 다른 방식으로 학습, 계층적(hierarchical) 학습 접근 방식(계층별로 다른 표현 학습 - 일반적인 특징, 복잡한 특징 등)
각 Task 별로 적합한 표현능력(Representation) 존재 → 각 Task별 성능과 CKA similarity 상관관계 높음
- 보간(Imputation), 이상 탐지(Anomaly Detection) → 높은 CKA 유사도 효과적 (일반적인 저수준low 패턴 학습이 중요함)
- 예측(Forecasting), 분류(Classification) → 낮은 CKA 유사도 효과적 (복잡한 패턴, 계층적 표현 학습 중요)

→ TimesNet은 각 작업에 적합한 표현을 학습 → 범용적으로 활용 가능

→ FEDformer는 예측, 이상 탐지 작업에서 우수한 성능 / 보간, 분류에는 계층적 표현 학습 어려움

Temporal 2D-variations

→ 원본 1D 시계열 데이터를 여러 주기를 기준으로 변환한 2D 텐서

→ 특정 주파수(Frequency)와 해당 주파수에 따른 주기(Period) 길이

행(Rows): 기간 간 변동(Interperiod-variation)
열(Columns): 기간 내 변동(Intraperiod-variation)

→ 특정 시점이나 주기에서 나타나는 강한 변동성 확인

3. Implementation

https://github.com/thuml/Time-Series-Library

GitHub - thuml/Time-Series-Library: A Library for Advanced Deep Time Series Models for General Time Series Analysis.

A Library for Advanced Deep Time Series Models for General Time Series Analysis. - thuml/Time-Series-Library

github.com

Dataset: Airline Passengers

https://raw.githubusercontent.com/jbrownlee/Datasets/master/airline-passengers.csv

총 길이: 144개월 (12년), 월별 기록
모델 아키텍처 - 비전 백본으로 inception v1 사용

Model(
(model): ModuleList(
(0-1): 2 x TimesBlock(
(conv): Sequential(
(0): Inception_Block_V1(
(kernels): ModuleList(
(0): Conv2d(16, 32, kernel_size=(1, 1), stride=(1, 1))
(1): Conv2d(16, 32, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(2): Conv2d(16, 32, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
(3): Conv2d(16, 32, kernel_size=(7, 7), stride=(1, 1), padding=(3, 3))
(4): Conv2d(16, 32, kernel_size=(9, 9), stride=(1, 1), padding=(4, 4))
(5): Conv2d(16, 32, kernel_size=(11, 11), stride=(1, 1), padding=(5, 5))
)
(1): GELU(approximate='none')
(2): Inception_Block_V1(
(kernels): ModuleList(
(0): Conv2d(32, 16, kernel_size=(1, 1), stride=(1, 1))
(1): Conv2d(32, 16, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(2): Conv2d(32, 16, kernel_size=(5, 5), stride=(1, 1), padding=(2, 2))
(3): Conv2d(32, 16, kernel_size=(7, 7), stride=(1, 1), padding=(3, 3))
(4): Conv2d(32, 16, kernel_size=(9, 9), stride=(1, 1), padding=(4, 4))
(5): Conv2d(32, 16, kernel_size=(11, 11), stride=(1, 1), padding=(5, 5))
)
(enc_embedding): Linear(in_features=1, out_features=16, bias=True)
(layer_norm): LayerNorm((16,), eps=1e-05, elementwise_affine=True)
(predict_linear): Linear(in_features=96, out_features=120, bias=True)
(projection): Linear(in_features=16, out_features=1, bias=True)
)

파라미터

class Configs:
    seq_len = 96       # 입력 길이
    pred_len = 24      # 예측 길
    enc_in = 1; c_out = 1
    d_model = 16; d_ff = 32
    e_layers = 2
    num_kernels = 6
    top_k = 3          # 3개의 주기 사용
    learning_rate = 0.001
    batch_size = 64
    epochs = 200

각 변환된 2D 텐서 시각화
- top 3개 주기
  - 96, 48, 12 주기로 추출됨
    - 96 = 1 X 96 → 전체 주기 : Trend
    - 48 = 2 X 48
    - 12 = 8 X 12 → 1년(12월) 주기
      - 가로축 (Width = 12): 1월, 2월, ..., 12월 (계절 안에서의 변화, Intra-period)
        
        여름 휴가철(6,7월) 진한 노란색
      - 세로축 (Height = 8): 1년차, 2년차, ..., 8년차 (연도 간의 변화, Inter-period)

예측 결과 시각화

FFT 변환
- top 3개 주기로 원본 데이터셋 분해

학습 과정

[입력 데이터 (1D 시계열)]
│
├───> (복사 1) ──[Reshape: 96마다]──> [2D 텐서 A: 1 x 144] ──[Conv2D]──> 특징 A 추출
│
├───> (복사 2) ──[Reshape: 48마다]───> [2D 텐서 B: 2 x 72 ] ──[Conv2D]──> 특징 B 추출
│
└───> (복사 3) ──[Reshape: 12마다]───> [2D 텐서 C: 12 x 12] ──[Conv2D]──> 특징 C 추출
│
┌─────────────────────────────────────────────────────────────────────────┘
│
▼
[결과 합산 (Weighted Sum)] -> 다시 1D로 펴서 합침

4. Questions

비주기적(Non-periodic) 데이터 효과적인지?
- TimesNet은 데이터에서 주기성을 추출하여 학습하는 모델 → 주기성이 전혀 없는 데이터셋의 경우에는 어떤 결과
패딩(Padding) 전략 비교(현재는 제로패딩)
- 다른 방식의 패딩(예: 복제 패딩, 평균값 패딩 등)을 사용 후, 결과 차이
다양한 비전백본 모델(현재는 inception v1 이용중) 확장
- ConvNeXt, ResNet, Swin Transformer 등 다양한 모델 사용 후, 결과 차이

[Paper review] Pre-LN(Pre-Layer Normalization)

Hippo's data — Mon, 9 Feb 2026 01:17:48 +0900

트랜스포머 구조에서 오늘날 거의 표준으로 사용되는 Pre-LN(Pre-Layer Normalization) 구조에 관한 논문을 리뷰해보도록 하겠습니다!

Paper: On Layer Normalization in the Transformer Architecture

(Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei Wang, Tie-Yan Liu)

Conference: ICML 2020

ArXiv: https://arxiv.org/abs/2002.04745

On Layer Normalization in the Transformer Architecture

The Transformer is widely used in natural language processing tasks. To train a Transformer however, one usually needs a carefully designed learning rate warm-up stage, which is shown to be crucial to the final performance but will slow down the optimizati

arxiv.org

Pre-LN 최초 제안한 논문

Adaptive Input Representations for Neural Language Modeling(Alexei Baevski & Michael Auli, Facebook AI Research))

https://arxiv.org/abs/1809.10853

Adaptive Input Representations for Neural Language Modeling

We introduce adaptive input representations for neural language modeling which extend the adaptive softmax of Grave et al. (2017) to input representations of variable capacity. There are several choices on how to factorize the input and output layers, and

arxiv.org

ICLR 2019

On Layer Normalization in the Transformer Architecture

→ 기존 Post-LN의 한계점, 왜 Pre-LN이 좋은지 수학적으로 분석 (Post-LN VS Pre-LN)

1. SUMMARIZE

항목	핵심 내용
Problem	Post-LN의 구조적 한계와 학습 비효율성 • Post-LN 구조: 출력층에 가까울수록 Gradient 크기가 커지는 경향이 있어 역전파 시 불안정함 • Warm-up 필수: 초기 Gradient 발산을 막기 위해 학습률을 0부터 천천히 올리는 Warm-up 단계가 강제됨 → 학습 시간 지연, 하이퍼파라미터 튜닝을 어렵게 함
Method	Pre-LN 제안, Gradient 이론 증명 • 구조 변경: Layer Normalization(LN)을 잔차 연결(Residual Connection) 내부, 즉 Sub-layer(attention, FFN) 입력 전으로 이동 • 수식: • 이론적 근거: 테일러 전개(Taylor Expansion)를 통해 분석한 결과, Pre-LN은 층이 깊어져도 Gradient Norm이 일정하게 유지되어 Gradient Vanishing/Exploding 문제가 발생하지 않음을 수학적으로 증명
Results	학습 효율성 및 성능 최적화 • Warm-up 제거: Warm-up 단계 없이도 초기 학습이 안정적이며, 훨씬 높은 학습률(Learning Rate) 사용 가능 • 수렴 속도: 기존 대비 더 적은 반복(Iteration) 횟수로 동일 성능에 도달 (시간 단축) • 성능 검증: 기계 번역(IWSLT, WMT), BERT 학습 태스크에서 Post-LN과 동등하거나 더 우수한 성능을 보이면서 학습 비용은 절감
Contribution	Deep Transformer 학습의 표준 정립 (Pre-LN ) • 기존 Post-LN에서 Warm-up이 필요했던 이유를 이론적으로 규명하고 해결책 제시 • 층을 매우 깊게 쌓아도 학습이 가능한 구조임을 입증하여, 이후 GPT-3, PaLM, Llama 2/3 등 현대 초거대 언어 모델들이 Pre-LN 방식 채택

2. DETAIL

1. Introduction

addition = Residual Connection

(a) Post-LN(Layer Normalization) Transformer
- Layer Normalization가 Residual Connection(addition) 뒤에 위치
- 문제점: 평균장 이론을 통해 출력 레이어 근처 파라미터의 초기화 시점 예상 기울기가 크다는 것을 증명 (큰 기울기는 학습 불안정하게 함)
- 해결책: 학습률 웜업 단계(Learning Rate Warm-up Stage) 필요
  - 모델 학습시, 학습률(learning rate)을 작은 값에서 시작하여 점진적으로 증가
  - 작은 학습률로 시작 → 학습속도 늦어짐, 추가적인 하이퍼파라미터 튜닝 필요(Warm-up 정도, 최대 학습률 등)
- BERT, Original Transformer

(b) Pre-LN(Layer Normalization) Transformer 제안
- Layer Normalization가 각 서브 레이어(Multi-Head Attention, FFN)의 입력 직전에 위치
- 학습률 웜업 단계(Learning Rate Warm-up Stage) 불필요
- 학습 시간 / 수렴 속도와 하이퍼파라미터 튜닝 노력 감소
- GPT 시리즈, LLaMA, PaLM

2. Related work

CNN, RNN → 초기 큰 학습률에서 점진적으로 감소

학습률 웜업 (Learning Rate Warm-up) → 큰 배치(batch) 훈련 시나리오, Transformer 선호

학습률 웜업단계 없다면, 최적화 발산 (optimization diverges)

3. Optimization for the Transformer

3.1. Transformer with Post-Layer Normalization

기존 트랜스포머 구조

Self-attention sub-layer

$Attention(Q, K, V) = \text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)V$

목적: 각 요소간 관련성 파악
$Attention(Q, K, V)$
- 쿼리 (Query, Q): 다른 요소 탐색, 질의 주체
- 키 (Key, K): 각 요소들의 식별자 정보
- 값 (Value, V): 각 요소들의 실제 정보
$\text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)V$
- $\mathbf{QK^T}$ (= 유사도 계산): 현재 요소의 쿼리(Q)와 시퀀스 내 모든 요소들의 키(K)를 곱하여(내적) 요소들 간의 유사도 점수를 계산 (얼마나 서로 관련이 있는지)
- $/ \sqrt{d_k}$ (=스케일링): 계산된 점수들을 히든 표현의 차원 크기 ( $\sqrt{d_k}$)로 나누어, 점수들이 너무 커지거나 작아지지 않도록 안정화 (학습 안정성)
- $\mathbf{\text{softmax}(\dots)}$ (=가중치 변환): 스케일링된 점수들에 소프트맥스 함수를 적용하여, 각 요소에 대한 최종 가중치(확률 분포)로 변환 (가중치는 현재 요소가 다른 요소들에게 부여하는 중요도를 나타냄)
- $\mathbf{(\dots)V}$ (=결합): 계산된 가중치들을 시퀀스 내 모든 요소들의 값(V)에 곱하고 합산 → 해당 요소는 관련성이 높은 다른 요소들의 정보를 효과적으로 결합하여 자신의 최종 표현을 업데이트함

멀티 헤드 어텐션(Multi-head Attention)

→ 어텐션 메커니즘 병렬 처리

$\text{Multi-head}(Q, K, V) = \text{Concat}(\text{head}_1, \dots, \text{head}_H)W^O$

$\text{head}_k = \text{Attention}(QW^Q_k, KW^K_k, VW^V_k)$

$WkQ,WkK,WkV$: k개의 각 헤드는 입력 쿼리(Q), 키(K), 값(V)에 대해 가중치 행렬(학습 가능) 가짐
$\text{head}_k = \text{Attention}(QW^Q_k, KW^K_k, VW^V_k)$: 각 헤드는 각각 어텐션 계산 수행
$\text{Concat}(\text{head}_1, \dots, \text{head}_H)$: 각 헤드 출력을 결합
$W^O$: 최종 선형변환 적용(각 헤드 정보들이 융합)

Position-wise FFN sub-layer

$FFN(h_i)=ReLU(h_iW^1+b_1)W^2+b^2$

목적: Attention 레이어 출력을 변환하여 각 위치의 벡터 표현에 추가적인 비선형성 제공
- $h_i$: i번째 벡터(토큰)
- 선형 변환 -> ReLU 활성화 -> 선형 변환

Residual connection and layer normalization

Residual Connection
- 목적: 기울기 소실(vanishing gradient) 문제 완화 → 깊은 층에도 효율적 학습
- x+F(x)
- sub-layer 입력(x)을 sub-layer 출력(F(x))에 직접 더함
- 잔차(residual) 변화를 학습하도록 함
Layer Normalization (LN)
- 목적: 학습 과정에서 신경망의 활성화 값을 안정화하여 더 큰 학습률을 사용할 수 있게 함, 모델의 수렴 속도, 성능 향상
- LayerNorm(v)=$\gamma \frac{v - \mu}{\sigma} + \beta$
  - 평균 $\mu = \frac{1}{d} \sum_{k=1}^{d} v_k$
  - 표준편차 $\sigma = \sqrt{\frac{1}{d} \sum_{k=1}^{d} (v_k - \mu)^2}$
  - $γ, β$: 학습 가능한(learnable) 파라미터

Post-LN Transformer

Post-LN: LN이 각 서브 레이어(self-attention, FFN)의 출력과 잔여 연결이 합쳐진 후에 적용
- (기존 트랜스포머)
Pre-LN: LN이 각 서브 레이어의 입력 전에 먼저 적용, 추가적인 최종 LN이 예측 전에 적용

3.2. The learning rate warm-up stage

다른 아키텍처들

큰 학습률(learning-rate)에서 점점 감소
learning rate warm-up stage
작은 학습률로 시작하며 점점 커짐

$lr(t)$: t번째 반복(iteration) 에서의 학습률
t: 현재 훈련 반복 횟수
$T_{warmup}$: 웜업 반복의 총 횟수
$lr_{max}$: 웜업 단계가 끝날 때 도달하는 최대 학습률
웜업 단계 이후 → 일반적인 학습률 스케쥴러 적용(선형, 역제곱근 감소 등)

Experimental setting

목적
- 학습률 웜업 단계가 Post-LN 트랜스포머 훈련에 필수적인지
- 최종 모델 성능이 웜업 기간(Twarmup) 값에 얼마나 민감한지
실험 세팅
- 평가 지표: 검증 손실(Validation Loss), BLEU score
- 모델: Post-LN Transformer
- 훈련 중, 매 에폭마다 loss, BLEU 스코어 기록

BLEU Score (Bilingual Evaluation Understudy Score)
→ 기계 번역(Machine Translation) 성능평가지표
→ 기계가 번역한 문장이 사람이 번역한 정답(Reference)과 얼마나 비슷한가?
$\text{BLEU} = \text{BP} \times \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)$

$\text{BP}$ (Brevity Penalty): 길이 페널티($c$: 예측 문장 길이, $r$: 정답 문장 길이)
$\text{BP} =
\begin{cases}
1 & \text{if } c > r \
e^{(1 - r/c)} & \text{if } c \le r
\end{cases}$
$w_n$: 각 $n$-gram의 가중치 (보통 모두 1/4로 동일하게 설정)
$p_n$: $n$-gram 정밀도 (보통 $N=4$까지 사용)
= 예측문장, 정답문장간 일치하는 n-gram 수 / 예측 문장 총 n-gram 수

Results and discussions

학습률 웜업 단계가 Post-LN 트랜스포머 훈련에 필수적
- 웜업 없음(w/o warm-up) 모델 성능 저조
Post-LN 트랜스포머의 최종 모델 성능은 Twarmup 파라미터(웜업 기간) 에 매우 민감
- Twarmup 4000 → 500 (lrmax = $1e^{-3}$) 성능 크게 저하
웜업이 Adam과 SGD 모두에 도움 → 특정 옵티마이저에 국한된 것이 아닌, Post-LN 트랜스포머 자체의 불안정성 문제 시사

3.3. Understanding the Transformer at initialization

→ LN 위치의 차이가 초기화 시점의 기울기에 어떻게 영향을 미치는지를 분석

Post-LN Transformer VS Pre-LN Transformer

서브 레이어(sublayer): Attention, FFN

Post-LN
- LN이 잔여 블록 바깥에 위치
- 즉, 서브 레이어의 출력과 입력에 잔여 연결이 적용된 후 LN이 적용
- $x_{l+1, i}^{\text{post}} = \text{LayerNorm}\Big( x_{l, i}^{\text{post}} + \text{SubLayer}(x_{l, i}^{\text{post}}) \Big)$

Pre-LN
- LN이 잔여 블록 내부에 위치
- 비선형 변환 전에 적용, 예측 직전에 최종 계층 정규화가 추가
- $x_{l+1, i}^{\text{pre}} = x_{l, i}^{\text{pre}} + \text{SubLayer}\Big( \text{LayerNorm}(x_{l, i}^{\text{pre}}) \Big)$

요약

이론적 분석을 위한 단순화:

단일 헤드 어텐션: 복잡한 Multi-head 대신 Single-head 어텐션 가정
특정 가중치 초기화: Self-attention 서브 레이어의 가중치 행렬($W^Q, W^K$)을 0 행렬로 초기화
가우시안 입력: 입력 벡터 또한 동일한 가우시안 분포에서 샘플링 가정

초기화(initialization) 정의

→ 학습 시작 전, 각 신경망 가중치(Weight) 파라미터에 최초 값을 부여하는 것

→ 표준적인 초기화 값(무작위)을 썼을 때, 구조(LN, Layer Norm 위치)가 그래디언트 크기에 어떤 영향을 미치는가

Post-LN (기존): 초기화된 가중치 값들이 Layer Norm을 통과하면서, 역전파될 때 그래디언트가 사라지지 않고 유지되거나 커짐 →학습률이 높으면 발산함
Pre-LN (제안): 초기화된 가중치 값들이 층을 지날수록 커지는데(Norm 증가), Layer Norm이 이를 역으로 눌러주는 역할(Scaling Down)을 함 → 그래디언트가 안정됨→ 학습률이 높아도 수렴함

파라미터 초기화 설정 (Parameter Initialization)

일반적으로 Transformer 계층의 파라미터 행렬은 일반적으로 Xavier Initialization을 사용
행렬이 Xavier 초기화됨

분포: $W \sim N(0, \frac{2}{n_{in}+n_{out}})$

Xavier Initialization
Paper: Understanding the difficulty of training deep feedforward neural networks (Glorot & Bengio, NIPS 2010)
문제점: 모델 학습시, 초기 가중치 설정 중요

가중치 너무 작게 시작: 기울기 소실
가중치 너무 크게 시작: 기울기 폭주

→ 가중치를 적절한 크기로 설정하는 방법
→ 각 레이어마다 입력 및 출력 뉴런 수($n_{in}$, $n_{out}$)를 고려하여 해당 레이어의 초기 가중치를 어느 정도로 설정할지 결정
방법: 각 레이어를 통과하는 활성화 값의 분산(variance)이 일정하게 유지 (입/출력의 분산이 같게)

정규 분포: 평균 0, 표준편차 $\sqrt{\frac{2}{n_{in} + n_{out}}}$ 에서 가중치 샘플링
균등 분포: 범위 $[-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}}]$ 에서 가중치 샘플링

활성화 함수에 따른 Initialization 종류:

Xavier: sigmoid, tanh
He: ReLU, Leaky ReLU, ELU 등 ReLU 계열

분석 방법: 평균장 이론 (Mean Field Theory)
전체 뉴런에 대해 계산할 수 없음 → 평균장 이론을 사용하여 전체 뉴런의 통계값을 기반으로 근사하여 초기 학습이 잘 되는지 확인

평균장 이론(Mean Field Theory, MFT)
→ 물리학(통계역학)에서 시작 - 복잡하게 얽힌 수많은 입자들의 상호작용을 단순화하여 평균적인 하나의 장(Field)으로 근사하는 방법
→ 거대한 신경망의 학습을 수학적으로 파악하기 위해 이용

Theoretical Findings - Gradients at Initialization

보조정리(Lemma 1,2,3)

→ 구체적인 증명은 논문 Appendix

Lemma 1: ReLU 통과 이후 크기(Norm) 변화

활성화 함수 ReLU가 입력 데이터의 크기에 미치는 영향을 수학적으로 정의

→ 가우시안 분포 $N(0, \sigma^2 I_d)$를 따르는 입력 벡터 X가 ReLU를 통과하면, 그 크기(Norm)의 기댓값은 절반이 됨

$\mathbb{E}(|ReLU(X)|_2^2) = \frac{1}{2}\sigma^2 d$

기존 크기 $d \times \sigma^2$ → $\frac{1}{2} d \sigma^2$

Lemma 2 : Forward Pass에서의 Hidden State 크기(Norm) 변화

→ 초기화(Initialization) 상태에서 데이터가 레이어를 통과할 때, Hidden State 벡터의 크기(Norm)가 어떻게 변하는지

Post-LN (기존)
$\mathbb{E}(|x_{l,i}^{post,5}|_2^2) = \frac{3}{2}d$

→ Residual Block을 거친 후 매번 Layer Norm(LN)으로 정규화

→ LN이 매번 크기를 잡아주기 때문에 층의 깊이($l$) 상관없이 기댓값이 일정하게 유지

Pre-LN (제안)
$(1 + \frac{l}{2})d \le \mathbb{E}(|x_{l,i}^{pre}|_2^2) \le (1 + \frac{3l}{2})d$

→ LN이 Residual Path 내부에 있어 값이 계속 누적

→ 층이 깊어질수록 값이 선형적으로 증가

Lemma 3 : Backward Pass에서의 기울기 스케일링 효과

→ Layer Norm의 미분값(Jacobian)은 입력 벡터의 크기에 반비례

$|J_{LN}(x)|_2 = \mathcal{O}\left(\frac{\sqrt{d}}{|x|_2}\right)$

즉, 입력 x가 클수록, 역전파되는 그래디언트는 작아짐

결론 - Theorem 1: 왜 Pre-LN은 Warm-up이 필요 없는가?

→ 마지막 레이어($L$)의 그래디언트 확인 (다른 레이어는 논문 Appendix 참고)

연쇄법칙(Chain Rule) 이용

$\frac{\partial \mathcal{L}}{\partial W} = \underbrace{\frac{\partial \mathcal{L}}{\partial y}}{\text{(1) Loss Grad}} \times \underbrace{\frac{\partial y}{\partial x}}{\text{(2) LN Jacobian } (J_{LN})} \times \underbrace{\frac{\partial x}{\partial W}}_{\text{(3) Input Grad}}$

Post-LN: 입력 크기가 상수이므로 그래디언트가 줄어들지 않고 크게 유지

$|\frac{\partial \mathcal{L}}{\partial W^{2,L}}|_F \le \mathcal{O}(d\sqrt{\ln d})$ (매우 큼)

즉, 초기 그래디언트 폭주를 막기 위해 아주 작은 학습률로 시작하는 **Warm-up이 필수**

Step A. Lemma 2 대입
$|x^{post}|_2 \approx \sqrt{\frac{3}{2}d} \approx \mathcal{O}(\sqrt{d})$
Step B. Lemma 3 대입
$|J_{LN}|_2 \approx \frac{\sqrt{d}}{|x^{post}|_2} \approx \frac{\sqrt{d}}{\sqrt{d}} \approx \mathbf{\mathcal{O}(1)}$
Step C. 최종 계산
$\left|\frac{\partial \mathcal{L}}{\partial W}\right|F \approx \underbrace{\mathcal{O}(1)}_{\text{Jacobian}} \times \mathcal{O}(d\sqrt{\ln d}) = \mathbf{\mathcal{O}(d\sqrt{\ln d})}$

$\mathcal{O}(d\sqrt{\ln d})$
- 표준 정규 분포 $N(0, 1)$에서 어떤 값 X가 특정 임계치 a보다 클 확률
  $P(|X| \ge a) \le \exp\left(-\frac{a^2}{2}\right)$ → 평균에서 멀어질수록 지수적으로 작아짐
- $d \times \exp\left(-\frac{a^2}{2}\right) \le \delta$
- $\exp\left(-\frac{a^2}{2}\right) \le \frac{\delta}{d}$
- $-\frac{a^2}{2} \le \ln \delta - \ln d$
- $a^2 \ge 2(\ln d - \ln \delta)$
- $a \approx \sqrt{2 \ln d}$
- $a$는 대략 $\sqrt{2 \ln d}$ → $d$ 차원으로 확장 → $\mathcal{O}(d\sqrt{\ln d})$

Pre-LN: 입력 크기가 깊이($L$)에 비례해 커지므로, LN이 그래디언트를 억제

$|\frac{\partial \mathcal{L}}{\partial W^{2,L}}|_F \le \mathcal{O}(d\sqrt{\frac{\ln d}{L}})$ (층이 깊을수록 안정됨)

즉, 그래디언트가 자동으로 관리되므로 **Warm-up 없이** 바로 높은 학습률로 **빠르게 학습 가능**

Step A. Lemma 2 대입
$|x^{pre}|_2 \approx \mathcal{O}(\sqrt{Ld})$

Step B. Lemma 3 대입
$|J_{LN}|_2 \approx \frac{\sqrt{d}}{|x^{pre}|_2} \approx \frac{\sqrt{d}}{\sqrt{Ld}} = \mathbf{\frac{1}{\sqrt{L}}}$

Step C. 최종 계산

3.4. Empirical verification of the theory and discussion

즉, 제시된 이론적 통찰이 실제 Transformer 훈련 시나리오와 일관됨

→ Pre-LN Transformer는 초기화 시 기울기가 잘 제어되므로 warm-up 단계 없이도 더 안정적인 훈련 가능

4. Experiments

→ Pre-LN Transformer가 학습률 웜업 단계 없이도 안정적으로 훈련될 수 있고 더 빠른 수렴 속도를 보이는지 확인

4.1. Experiment Settings

Machine Translation

작업
- IWSLT14 German-to-English(독일어 → 영어 번역)
- WMT14 English-to-German(영어 → 독일어 번역)
비교군
- Post-LN Transformer 학습 → Learning Rate Warm-up Stage 포함 유/무
- Pre-LN Transformer 학습 → Learning Rate Warm-up Stage 제거

Unsupervised Pre-training (BERT)

작업
- BERT 모델 사전학습
- BERT 모델→ MRPC(Microsoft Research Paraphrase Corpus) 데이터셋에 미세 조정
- BERT 모델→ RTE(Recognizing Textual Entailment) 데이터셋에 미세 조정
비교군
- Post-LN Transformer 학습 → Learning Rate Warm-up Stage 포함
- Pre-LN Transformer 학습 → Learning Rate Warm-up Stage 제거

4.2. Experiment Results

Machine Translation

→ Post-LN(웜없 O) vs Post-LN(웜업 X) vs Pre-LN(웜업X)

Post-LN(웜업 X) vs Pre-LN(웜업X)
- Pre-LN(웜업 X)은 Post-LN(웜업 X)보다 압도적으로 우수한 성능
Post-LN(웜업 O) vs Pre-LN(웜업X)
- Pre-LN(웜업 X)이 Post-LN(웜업 O)와 비슷한 최종 성능을 달성하면서도 훨씬 빠른 수렴 속도

즉, 웜업 없는 Pre-LN 이 Post-LN 웜업 있든 없든 더 빠른 수렴

Unsupervised Preㄴ-training (BERT)

→ 세가지 task 조건 (a,b,c) 에서 더 빠르고 낮은 손실 / 더 높은 정확도 달성

3. Discussion

Peri-LN (Peripheral Layer Normalization)

Paper: Peri-LN: Revisiting Normalization Layer in the Transformer Architecture

김정훈(Jeonghoon Kim, NAVER Cloud/KAIST), 이병찬(Byeongchan Lee, KAIST), 박천복(Cheonbok Park, NAVER Cloud)

https://arxiv.org/abs/2502.02732

Peri-LN: Revisiting Normalization Layer in the Transformer Architecture

Selecting a layer normalization (LN) strategy that stabilizes training and speeds convergence in Transformers remains difficult, even for today's large language models (LLM). We present a comprehensive analytical foundation for understanding how different

arxiv.org

(ICML 2025)

reference

https://clova.ai/tech-blog/흔들림-없는-안정성-peri-ln으로-학습-발산을-막다

CLOVA

하이퍼스케일 AI로 플랫폼 경쟁력을 강화하고 비즈니스 시너지를 확장합니다.

clova.ai

Post-LN (기존 Transformer):
- 장점: 깊은 모델에서 성능 유지 (LN층이 뒤에 있으므로, 깊어져도 신호 크기가 일정하게 관리됨 = 성능 쥐어짜기)
- 단점: 학습 초기단계 학습률 웜업(Warm-up) 같은 조절이 필수적
Pre-LN:
- 장점: 학습 초기에도 웜업(Warm-up) 과정 없이도 안정적으로 학습
- 단점: 층이 깊어질수록 출력값의 분산이 커져(선형 증가) 일부 성능 저하가 발생할 수 있음

→ 기존 방식들이 정규화 층(Layer Norm, LN)을 모듈의 앞(Pre)이나 뒤(Post) 중 한 곳에만 두는 것과 달리, Peri-LN은 서브 레이어(Attention, MLP)의 앞과 뒤 모두에 정규화를 적용

Peri-LN → 두 방식의 장점을 합친 효과 (웜업 없는 안정적인 학습 + 깊은 모델에서의 성능 유지 동시에 달성)

RevIN (Reversible Instance Normalization) vs Pre-LN (Layer Norm)
- RevIN:
  - 데이터 분포 안정화
  - 모델 외부 (입력층 직후 & 출력층 직전)
- - 학습 안정화
  - 모델 내부 (각 Sub-layer 입력 전) Pre-LN

[Paper review] iTransformer

Hippo's data — Wed, 4 Feb 2026 01:10:31 +0900

오늘은 iTransformer 모델이 제안된 논문을 리뷰해보도록 하겠습니다!

기존 시계열 예측(TSF) Transformer 기반 모델의 대다수 방식이었던 기존 시간축 단위 토큰화에서 변수축 단위로 토큰화해서 어텐션 계산을 시도한 논문입니다!

ITRANSFORMER

Paper: ITRANSFORMER: INVERTED TRANSFORMERS ARE EFFECTIVE FOR TIME SERIES FORECASTING (Yongliu Liu, Tengge Hu, Haixu Zhang, Haoran Wu, Shiyu Wang, Maobing Ma, Jianmin Wang, Mingsheng Long)

Conference: ICLR 2024
GitHub Repository: https://github.com/thuml/iTransformer
ArXiv: https://arxiv.org/abs/2310.06625

GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Fore

Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight) - thuml/iTransformer

github.com

iTransformer: Inverted Transformers Are Effective for Time Series Forecasting

The recent boom of linear forecasting models questions the ongoing passion for architectural modifications of Transformer-based forecasters. These forecasters leverage Transformers to model the global dependencies over temporal tokens of time series, with

arxiv.org

ITRANSFORMER = Inverted + TRANSFORMER

Inverted → 뒤바꿈, 반전

→ 기존 TRANSFORMER의 어텐션 계산이 시간축 단위였다면, 변수축 단위로 뒤바꿈

1. SUMMARIZE

항목	핵심 내용
Problem	기존 트랜스포머의 '토큰화' 방식의 부적절함 → 기존 모델은 동일 시점의 여러 변수(Multivariate)를 묶어 하나의 토큰으로 만듦 → 서로 다른 의미를 가진 변수들이 뒤섞이게 하고, 변수 간 상관관계를 학습하기 어렵게 함
Motivation	시계열 데이터의 특성 재해석 (Inverted) 1. 독립적 변수 특성: 각 변수는 고유한 패턴을 가짐. 시점 단위가 아니라 '변수 단로 정보를 추출해야 함 2. 어텐션의 역할 재정의: 시간 순서에 따른 어텐션보다, 변수들 사이의 관계를 파악하는 어텐션이 다변량 예측에서 더 효과적일 것이라는 가설
Method	Inverted Structure (구조 뒤바꿈) • Variable as Token: 각 변수의 전체 시계열 데이터(Look-back window) 자체를 하나의 토큰으로 임베딩함 • Self-Attention: 변수 토큰들 간의 상호작용을 계산하여 변수 간 상관관계(Multivariate Correlation) 학습 • Feed-Forward Network (FFN): 각 변수 토큰 내의 시간적 패턴(Temporal patches)은 FFN을 통해 개별적으로 인코딩
Results	다변량 시계열 데이터에서 좋은 성능 • DLinear가 강점을 보였던 데이터셋뿐만 아니라, 변수 간 복잡한 관계가 중요한 데이터셋에서 DLinear를 능가 • Look-back window가 길어질수록 성능이 지속적으로 향상 (기존 트랜스포머는 성능이 정체되거나 하락했음)
Contribution	트랜스포머 시계열 모델의 새로운 구조 제시 1. 구조 뒤바꿈 (inverted) 효과성: 복잡한 모듈 추가 없이, 데이터의 축(Time vs Variable)을 바꾸는 것만으로 트랜스포머의 한계를 극복 2. 범용성: 임베딩 방식만 바꾼 것이기에, 기존의 다양한 트랜스포머 변형 모델(Informer, Flowformer 등)에 즉시 적용 가능한 프레임워크 제공

2. DETAIL

1. Introduction

Transformer, iTransformer 시계열 데이터 처리방식 비교
- Transformer
  - Time Step 기준 토큰, 특정 시점의 모든 변수가 하나의 토큰에 포함됨
    - 각 변수의 특징 학습 한계
    - 무의미한 어텐션 맵(meaningless attention maps)
  - 어텐션 → 시간 종속성(Temporal Dependencies) 파악 목적
  - FFN(Feed foward network): 혼합된 토큰에서 시계열 특징 학습
- iTransformer
  - 변수(Variate) 기준 토큰, 총 토큰의 수는 변수 개수
  - 어텐션 → 변수간 상관관계(Multivariate Correlations) 파악 목적
  - FFN(Feed foward network): 각 변수별 시계열 특징 학습

	Transforme	iTransformer (Inverted)
토큰의 의미	동일 시점의 변수 묶음 ($[v_1, v_2, \dots]$)	한 변수의 전체 시계열($[t_1, t_2, \dots, t_L]$)
어텐션 대상	시간(Time) 간의 상관관계	변수(Variate) 간의 상관관계
FFN의 입력	시점별 다변량 벡터	변수별 전체 시계열 벡터
FFN의 역할	변수 간 특징 추출 (Variate-Mixed)	시간적 패턴 추출 (Variate-Unmixed)

2. RELATED WORK

기존 Transformer 기반 시계열 예측 모델 분류

→ 구성요소(어텐션, Feed-forward network 등), 아키텍처(Transformer 구조) 수정 여부에 따라 4가지 범주로 구분 (modify the component and architecture)

구성요소(Component) 수정
- Transformer를 구성하는 각각의 부품을 수정하는 것
- 예) 기존 Attention을 효율적인 Sparse Attention으로 바꿈
아키텍처 (Architecture) 수정
- 기존 Transformer 구성 부품은 그대로, 부품을 조립하는 방식 변경
- 예) iTransformer: 기존 Attention은 시간관계 파악, inverted → 각 변수관계 파악

구성요소 수정 O, 아키텍처 수정 X
- 가장 일반적인 방식
- 어텐션 자체 수정(Sparse Attention 등)
- Autoformer, Informer
구성요소 수정 X, 아키텍처 수정 X
- 추가적인 시계열 처리(Series Processing) 도입
  - Normalization, Patching 등
- PatchTST, NSTransformer
구성요소 수정 O, 아키텍처 수정 O
- Crossformer
구성요소 수정 X, 아키텍처 수정 O
- iTransformer
  - 단치 각 구성요소 입력차원 inverted

3. ITRANSFORMER

historical observationsT : time steps
N : variates
$X = {x_1, \dots, x_T} \in \mathbb{R}^{T \times N}$

predict the futureS: time steps
N : variates
$Y = {x_{T+1}, \dots, x_{T+S}} \in \mathbb{R}^{S \times N}$

Xt,: 특정 시간 스텝 t에서 동시에 기록된 모든 N개 변수의 값

X:,n: n번째 변수의 전체 시계열

3.1 STRUCTURE OVERVIEW

iTransformer 전체 흐름

$\mathbf{h}_n^0$: n번째 변수의 전체 과거 시계열 X:,n을 *임베딩
*$\mathbf{H}^l$: $l$번째 트랜스포머 블록을 통과한 hidden state 행렬

$\hat{\mathbf{Y}}_{:,n}$: 번째 변수에 대한 최종 미래 예측값 (각 변수별로 미래 예측됨) / 최종적으로 선형레이어 통과(프로젝션)

iTransformer 세부 구조 - encoder-only

(a) Embedding

MLP(Multi-Layer Perceptron)
각 변수별로 전체 시계열을 Token으로 임베딩

(b) Multivariate Attention

각 변수별 임베딩된 토큰간 다변량 상관 관계(Multivariate Correlations) 포착

각 변수별 독립적으로 적용
두 개의 선형 변환, 비선형 활성화 함수, 드롭아웃
시계열 특징 포착

(d) Layer Normalization

기존 Transformer: 각 시점 내에서 정규화
iTransformer: 각 변수의 전체 시계열(Token)에 대해 정규화
- 비정상성(Non-stationarity) 해결에 도움

3.2 INVERTED TRANSFORMER COMPONENTS

Layer normalization

→ 각 변수에 대해 임베딩 (h_n)한 각 토큰을 독립적으로 평균이 0이고 분산이 1인 분포로 정규화

비정상 문제(non-stationary problem) 해결 효과적
- 비정상성(Non-stationarity): 시간에 따라 데이터 통계적 특성(평균, 분산)이 변함
기존 Transformer vs iTransformer
- 기존 Transformer
  - 특정 시점(timestamp)의 다변량(multivariate) 데이터를 임베딩 →각 시간 토큰에 대해 정규화
- iTransformer
  - 각 변수(variate)의 전체 시계열을 임베딩 → 각 변수 토큰에 대해 정규화

Feed-forward network (FFN)

$FFN(x)=max(0,xW1+b1)W2+b2$

→ 간단한 MLP 구조, 비선형성 학습(Relu 구조)

Self-attention

기존 attention
- 한 시점의 여러변수를 한 토큰으로 묶어서 어텐션 적용
- 시간적 의존성(temporal dependencies) 모델링
iTransformer attention
- 각 변수 전체를 한 토큰으로 묶어서 어텐션 적용
- 변수간 상관관계 표현(multivariate correlation) - 밀접한 변수들에 더 높은 가중치 적용

4. EXPERIMENTS

4.1 FORECASTING RESULTS

Baselines

트랜스포머 기반: Autoformer, FEDformer, Stationary, Crossformer, PatchTST
선형 기반: DLinear, TiDE, RLinear
TCN(Temporal Convolutional Network) 기반: SCINet, TimesNet

lookback length

prediction length

PEMS 데이터셋: 12, 24, 36, 48
나머지: 96, 192, 336, 720
각 결과의 평균 MSE, MAE (전체 개별 예측값은 Appendix)

red: first best

blue: second best

results

iTransformer SOTA
- 변동성 대처
  - 기존 SOTA 모델 PatchTST 한계: PEMS 데이터셋과 같이 변동성이 심한 시계열에서 성능 저하
  - iTransformer는 변동성에 잘 대처 (전체 시계열을 한 토큰으로 임베딩하므로)
- 다변량 상관관계 포착
  - Crossformer 한계: 다변량 상관관계를 명시적으로 포착하는 모델 성능 떨어지는 경우 존재
  - iTransformer는 변수간 상관성 포착에 강점 (변수별 토큰으로 어텐션 적용) → 고차원 데이터 뛰어남

4.2 ITRANSFORMERS GENERALITY

Performance promotion

기존 Transformer 모델에 inverted 구조 적용
- 전체적으로 성능향상
- 기존 Transformer 아키텍처가 시계열 예측에 부적절하게 사용됨을 시사

Variate generalization

실험: CI-Transformers, iTransformer 간의 훈련 중에 보지 못한 시계열 변량(variates, 변수)에 대해 얼마나 잘 일반화되는지 성능 측정
결과: CI-Transformers 보다 iTransformer가 (100% → 20% variates 전환 시) 전반적으로 작은 예측성능 저하
→ iTransformer가 훈련에 보지 못한 변량에 대해 더 뛰어난 일반화 능력
이유:
- 기존 Transformer
  - 특정 시점의 모든 변수를 묶어 시간적 토큰화(temporal token) → 토큰 개수 고정 (= input sequence 길이)
  - Feed-Forward Network(FFN) → 시간적 토큰 독립적으로 적용 → 각 개별 변수의 시계열 패턴 포착 어려움
- iTransformer
  - 각 변수의 전체 시계열 변량 토큰화(variate token) → 토큰 개수 유동적 (데이터 셋 변수 수에 따라 토큰 개수가 결정됨)
  - 훈련, 추론단계 변수 수 달라져도 문제없이 동작 가능
  - Feed-Forward Network(FFN) → 변량 토큰 독립적으로 적용 → 각 개별 변수의 시계열 패턴 포착 용이

Increasing lookback length

lookback length: 48, 96, 192, 336, 720
prediction length: 96
배경: 이전 연구(DLinear, PatchTST) 에서 lookback length가 늘어난다고 해서 예측성능이 반드시 늘어나지는 않음
기존 Transformer , inverted Transformer 의 성능 비교
- 기존 Transformer (채워진 도형) : lookback length 늘어나도 성능 오히려 악화되는 부분 존재
- inverted Transformer (구멍뚫린 도형) : lookback length 늘어날수록 성능 일관되게 향상됨

→ inverted 된 어텐션, FFN(MLP 구조)가 시간 관계를 잘 포착함을 시사

4.3 MODEL ANALYSIS

Ablation study

실험: 변수차원(Variate), 시점차원(Temporal) 각각 어텐션/FFN 구성요소 교체, 제거(w/o) 에 따른 성능 비교 실험
결과:
- iTransformer (변수 차원에 어텐션 사용, 시점 차원에 FFN사용) 구조 가장 우수한 결과
- 바닐라 Transformer (시점 차원에 어텐션 사용, 변수차원에 FFN사용) 구조 가장 최악 결과
- → inverted 방식 효과성 입증

Analysis of series representations & Analysis of multivariate correlations

(좌) MSE, CKA 유사성 비교

CKA (Centered Kernel Alignment) 유사성: 두 신경망 계층이 학습한 표현이 얼마나 유사한지 측정하는 지표 (클수록 표현 유사성이 큼)
CKA 유사성이 높을수록 더 정확한 예측으로 이어짐
iTransformer가 일반 Transformer에 비해 더 높은 CKA 유사성 달성

(우) 다변량 상관관계 학습

목적: iTransformer에서 어텐션 메커니즘이 변수간 상관관계 학습을 잘하고 있는지 확인
실험: 각 변수간 실제 데이터(과거, 미래) 피어슨 상관관계 히트맵, 어텐션 스코어맵(첫번째, 마지막 레이어) 비교
결과: 각 레이어의 어텐션 스코어 맵이 실제 데이터의 상관관계 히트맵과 유사
→ 어텐션의 높은 해석 가능성, inverted 된 아키텍처가 다변량 상관관계 효과적을 포착

Efficient training strategy

배경: Self-attention 메커니즘 복잡도 O(N^2) (N: 토큰 수) → 변수(variate) 수가 많을 경우 훈련 부담스러움
실험: 각 배치(batch)마다 일부 변수(variate)만 이용하여 학습 → 예측성능(MSE, 좌), 메모리(GB, 우) 비교
- iTransformer는 학습, 추론의 변수(토큰) 수가 동일하지 않아도 됨
결과:
- 학습 변량 비율(Sample Ratio) 감소하더라도 성능(MSE)이 안정적으로 유지
- 학습 변량 비율(Sample Ratio) 감소하더라도 메모리 사용량이 크게 감소
- → 학습 시, 일부 변량만 사용하여 효율성을 높임 / 추론 시, 모든 변량에 대해 예측을 수행
효과:
- 배치마다 변수 무작위 샘플링 → 일반화 효과 (특정 변수에 과하게 의존 방지)
- 메모리 효율성

3. Implementation

https://github.com/thuml/iTransformer

GitHub - thuml/iTransformer: Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Fore

Official implementation for "iTransformer: Inverted Transformers Are Effective for Time Series Forecasting" (ICLR 2024 Spotlight) - thuml/iTransformer

github.com

TS shape

Raw Data [Time_steps, Variates] : 2차원

Input Tensor : 3차원

일반적인 구성: [B, L, N]

B (Batch Size): 한 번에 학습할 샘플의 개수
L (Look-back Window / Seq_Len): 모델이 과거를 얼마나 길게 보는지(입력 길이)
N (Number of Variates): 변수 개수

* **iTransformer → [B, N, L] : 변수(N)를 토큰(Token)으로 취급하여 차원을 바꿈(Inverted)

-> 각 변수 전체 시계열은 압축되어 토큰화됨

-> 변수별 결측치(Missing Values), 시점 불일치(Misalignment) 등 불규칙한 데이터에도 별도의 전처리 없이 유연하게 적용 가능

4. Discussion

변수가 1~2개뿐인 경우의 성능? (Univariate vs. Multivariate)
***→ 어텐션 계산 유의미 → 단지 비선형 층을 통과하는 FFN(MLP) 모델과 동일할 가능성 큼
iTransformer 한계
- FFN(feed-foward network)의 역할: 각 변수 상관관계 고려시, 변수별 거시적 패턴 학습
- 변수별 전체 시계열(Look-back Window)을 하나의 독립된 토큰으로 구성
- 한계: 시계열 전체를 하나의 토큰으로 보기 때문에, 특정 찰나의 순간에만 발생하는 미세한 변화 (시점별로 다른 변수의 상관관계)는 포착하기 힘듦
- → 제안: iTransformer (inverted) + Patching (관련해서 paper 있는지 찾아보기)
- 기존 iTransformer는 한 변수의 전체 길이를 하나의 토큰으로 만듦
- 기존 변수를 패치단위로 분할하여 여러 토큰으로 구성
  - $토큰 수: N(변수 개수) \times P(패치 개수)$
  - 시간 축(Patch)과 변수 축(Variate)을 나누어서 각각 어텐션 계산

[TS] 시계열 용어 정리

Hippo's data — Sat, 31 Jan 2026 21:00:19 +0900

시계열(TS, Time Series) 논문을 읽다 보면, 의미가 헷갈리는 용어들이 있습니다!

오늘은 시계열 논문에서 자주 등장하지만, 매번 헷갈려서 검색해보는 단어들의 의미를 명확히 알아보겠습니다!

1. Endogenous vs Exogenous

2. Variable vs Variate vs Variation vs Variance

1. Endogenous vs Exogenous

(1) Endogenous Variable (내생변수)

어원: Endo(내부) + Genous(생성)
의미: 모델 내부의 상호작용에 의해 값이 결정되는 변수. 즉, 우리가 예측하고자 하는 대상 (Target)
예시 (비트코인 예측): 과거 비트코인 가격 변수

(2) Exogenous Variable (외생변수)

어원: Exo(외부) + Genous(생성)
의미: 모델 외부에서 이미 결정되어 입력으로 들어오는 변수. 모델이 이 값을 바꿀 수는 없지만, 예측에 힌트를 주는 참고 자료(Condition)
예시 (비트코인 예측): 미국 금리, 소비자 물가 지수(CPI), 다른 코인 거래량 등

TimeXer 논문 내 이미지 (TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables)

내생변수 (Endogenous): $\mathbf{x}^{(1)}$
- 과거 $\mathbf{x}^{(1)}$으로 미래 $\mathbf{x}^{(1)}$ 맞춤
외생변수 (Exogenous): $\mathbf{z}^{(1)}, \mathbf{z}^{(2)}, \dots, \mathbf{z}^{(C)}$
- 예측의 대상은 아니지만, 예측을 돕기 위해 참조만 하는 외부 요인

2. Variable vs Variate vs Variation vs Variance

(1) Variable: "가장 넓은 의미의 변수"

우리가 수학이나 프로그래밍에서 쓰는 일반적인 x, y 변수
Target variable 타겟 변수, Exogenous variable 외생 변수

(2) Variate: "개별 채널 (Channel), 변수"

통계학에서는 '확률 변수의 실현값(구체적인 값)'을 뜻하지만, 딥러닝 시계열 논문에서는 '채널(Channel)', '피처(Feature)'와 동의어로 사용됨
Multivariate Time Series 다변량 시계열, Variate-specific embedding 각 변수(채널)별 임베딩

(3) Variation: "값의 움직임"

대상이 아니라 '상태'나 '동작' -> 값이 시간에 따라 오르내리는 변동이나 변화 양상 (Variance: 분산과 구별)
Temporal variation 시간적 변동 (시간 흐름에 따라 값이 변화), Local variation 국소적 구간에서의 변화

(4) Variance: "계산된 통계적 수치 (분산)"

데이터가 평균으로부터 얼마나 퍼져있는지를 나타내는 통계적 척도($\sigma^2$)

"Capturing correlations among multiple variates to model temporal variation of each variable."

-> "다수의 변량(채널, 변수)들 사이의 상관관계를 포착하여, 각 변수의 시간적 변동을 모델링한다."

[Paper review] PatchTST

Hippo's data — Fri, 30 Jan 2026 14:21:01 +0900

오늘은 PatchTST 모델이 제안된 논문을 리뷰해보도록 하겠습니다!

저번 리뷰에서 단순한 선형구조를 제안하여, “Transformer는 LTSF(Long term time-series Forecast)에 별로다” 라고 주장했던 Dlinear 관련 논문을 리뷰했었는데욥

이번에는 다시 " Transformer도 제대로 쓰면 선형 모델보다 훨씬 좋다" 라는 주장으로 해당 내용을 반박한 논문입니다!

Paper: A TIME SERIES IS WORTH 64 WORDS: LONG-TERM FORECASTING WITH TRANSFORMERS (Yuqi Nie, Nam H. Nguyen, Phanwadee Sinthong, Jayant Kalagnanam)

Conference: ICLR 2023
GitHub Repository: https://github.com/yuqinie98/PatchTST
ArXiv: https://arxiv.org/abs/2211.14730

GitHub - yuqinie98/PatchTST: An offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with

An offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers." (ICLR 2023) https://arxiv.org/abs/2211.14730 - yuqinie98/PatchTST

github.com

A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

arxiv.org

→ 트랜스포머는 LTSF에 별로다 (LTSF-Linear (DLinear) 논문) 반박

→ 트랜스포머도 제대로 쓰면 선형 모델보다 훨씬 좋다 (Patch TST)

PatchTST = Patch Time Series Transform

= 패치단위(여러시점)로 처리 + 변수 독립적(Channel Independence)

제목 의미

A TIME SERIES IS WORTH 64 WORDS

→ 영미권 숙어 패러디: “A picture is worth a thousand words” (한 장의 그림이 천 마디 말의 가치가 있다)

→ 시계열에서 64개의 말( = 패치(Patch))이 가치가 있다

Vision Transformer (ViT) 논문에서 착안

-> An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (Dosovitskiy et al., ICLR 2021)

-> ViT가 이미지를 픽셀 단위가 아닌 패치 단위로 분할하는 방식에서 착안

1. SUMMARIZE

항목	핵심 내용
Problem	기존 논문(Are Transformers Effective for Time Series Forecasting? - LTSF-Linear제안) 에서 LTSF에서 Transformer가 별로임을 주장 - 기존 Transformer는 Point-wise 방식(데이터 포인트 하나씩 입력)을 사용하여 로컬한 의미 정보를 잃고, 시퀀스 길이가 길어질수록 계산 복잡도가 기하급수적으로 증가
Method	PatchTST (Patching + Transformer) • Patching: 단일 데이터 포인트보다는 일정 구간(Patch)으로 나눠 시계열의 의미단위 학습 • Channel Independence(CI): 각 변수를 별도의 샘플처럼 처리하여 하나의 인코더를 공유, 다변량 데이터에서 변수 간 상관관계를 억지로 학습하기보다 변수별로 독립적으로 학습하는 것이 더 일반화 성능이 좋음
Results	LTSF-Linear를 포함한 모든 기존 SOTA 모델을 추월 특히 Look-back window가 길어질수록 성능이 훨씬 더 좋아짐
Contribution	Transformer가 LTSF에서 효과적임을 재입증 시계열에서의 Self-supervised learning 가능성 제시

2. DETAIL

1. Introduction

Transformer가 다양한 분야에서 성공을 거두며 시계열 분석에도 적용되고 있음
최근 연구(Are Transformers Effective for Time Series Forecasting?)에서 단순한 선형 모델(LTSF-Linear)이 더 좋은 성능을 보여주며 Transformer의 유용성에 의문을 제기
PatchTST 기법 제안
- Patching (패칭): 시계열 데이터를 단일 시점(point-wise)이 아닌 하위 시계열 수준의 패치(patch)로 분할하여 입력 토큰으로 사용
  - 계산 및 메모리 사용량 감소
  - 더 긴 과거 기록(longer look-back window) 활용 능력 (실험증명)
- Channel-independence (채널 독립성): 다변량 시계열에서 각 채널(단일 변량 시계열)을 독립적으로 처리하여 모든채널에서 동일한 임베딩 및 Transformer 가중치를 공유
  - 기존에는 channel-mixing 방식 다수
- self-supervised learning → representation learning, transfer learning 우수

2. RELATED WORK

Patch in Transformer-based Models
- Transformer 기반 다양한 분야에서 Patch 기법이 유용하게 사용됨
- NLP - BERT, CV - VIT, Speech 등등
Transformer-based Long-term Time Series Forecasting
- 기존 Attention 매커니즘에서 복잡도(complexity) 낮추기(n^2) + 예측 성능 향상 목적
- 대부분 아키텍처들 패치 중요성 무시(point-wise attention)

모델	주요 메커니즘
LogTrans (Li et al., 2019)	컨볼루션(convolutional) 기반 self-attention layer, LogSparse design
Informer (Zhou et al., 2021)	ProbSparse self-attention, distilling 기법 → 중요 key 추출
Autoformer (Wu et al., 2021)	전통 시계열 분석 기법에서 차용한 decomposition and auto-correlation 아이디어 → 수동적(handcrafted) 설계, semantic 정보 얻지X
FEDformer (Zhou et al., 2022)	푸리에(Fourier) 기반 구조 → 선형 복잡도
Pyraformer (Liu et al., 2022)	pyramidal attention module, intra-scale, inter-scale 연결 → 선형 복잡도
Triformer (Cirstea et al., 2022)	patch attention 제안 → 단지 pseudo timestam를 쿼리로 사용하여 복잡도 줄임 → 패치 자체 입력단위X, semantic importance 포착X

Time Series Representation Learning
- 다양한 non-Transformer 기반 TS Representation Learning 제안됨
  - Franceschi et al., 2019, Tonekaboni et al., 2021, Yang & Hong, 2022, Yue et al., 2022
- Transformer 기반 TS Representation Learning도 시도됨, 아직 잠재력 발휘되지 않음
  - Time Series Transformer (TST) - Zerveas et al., 2021 , TS-TCC - Zerveas et al., 2021

3. PROPOSED METHOD

look-back window L : (x1, ..., xL)
forecast T future values : (xL+1, ..., xL+T )
core architecture : vanilla Transformer encoder

3-1. MODEL STRUCTURE

Forward Process
- Input: 다변량(Multivariate) 시계열
- Process: M개의 단변량(univariate) 시계열로 분리 → Transformer 백본에 개별적으로 독립적으로 입력 (모든 채널이 동일한 Transformer 가중치를 공유하며 학습 및 추론)
- Output: 각 단변량 시계열에 대해 독립적으로 예측
Patching
- L: input 길이(look-back window)
- P: 패치 길이
- S: stride, 연속적 두 패치 사이의 겹치지 않는 영역의 길이(이동 길이)
- N: 패치 총 개수
  - 마지막 패치를 만들기 위해(길이 맞추기 위함) 원본 시퀀스 끝에 S개만큼의 마지막 값을 반복하여 패딩(padding)
- $N = \left\lfloor \frac{L-P}{S} \right\rfloor + 2$
- 효과: 트랜스포머의 입력 토큰(input token) 수 감소
  - 기존 트랜스포머 입력 토큰 수: L
  - 패치 후, 입력 토큰 수: $N≈L/S$
  - 연산 복잡도, 메모리 사용량 제곱(quadratically) 만큼 감소
    - O(N^2) → O((L/S)^2)

DSBA - Paper Review 세미나 발표자료 참고

https://dsba.snu.ac.kr/seminar/?mod=document&uid=2670

[Paper Review] A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers

[ 발표 요약 ] 1. Topic A Time Series Is Worth 64 Words: Long-Term Forecasting With Transformers 2. Overview 이번 세미나 시간에는 ICLR 2023에 accept 된 long-term time series forecasting(LTSF) 방법론 PatchTST를 공유하고자 한다.

dsba.snu.ac.kr

Transformer Encoder
- Transformer의 Multi-Head Attention 수행

Loss Function
- MSE loss
- 각 시계열 채널(univariate series)에 대한 손실을 계산한 후, 모든 M개 시계열에 대해 평균하여 최종 손실을 구함

Instance Normalization
- 각 단변량(univariate) 시계열을 독립적으로 정규화(평균0, 표준편차1)
- 정규화 후, 패치분할 → 모델 입력 → 원래 스케일 복원하여 출력
- 훈련, 테스트 데이터 간 분포 변화(distribution shift) 효과를 완화

3-2. REPRESENTATION LEARNING

Masked Autoencoder : 입력 시퀀스의 일부를 숨기고(마스크 처리), 모델은 숨겨진 내용을 복원하도록 학습

기존 연구 → 개별 시점(single time step) 마스킹
- A Transformer-based Framework for Multivariate Time Series Representation Learning (Zerveas et al., 2021)
- 인접한 시점의 값으로 보간하여 쉽게 유추가능
  - 무작위 전략(randomization strategies)으로 해결시도
- 너무 많은 매개변수로 인해 학습 데이터가 부족할 때, 과적합되기 쉬움
  - 각 time step(L)의 잠재 표현(D)을 미래 예측(T)과 채널 수(M)에 매핑→ 최종 출력 layer 매우 큰 파라미터 행렬(w) 필요 → w = (L·D) X (T·M)
PatchTST → 패치(patch) 단위 마스킹
- 최종 출력 layer 재구성 → linear layer (D X P)
- 겹치지 않는(non-overlapping) 패치
  - 마스킹 된 패치 정보가 다른 패치에 포함되지 않게
- 무작위 마스킹
- 마스킹된 패치 복원 학습시, MSE loss 최소화 학습

4. EXPERIMENTS

4-1. LONG-TERM TIME SERIES FORECASTING

Datasets: 8개 (Weather, Traffic, Electricity, ETTh1, ETTh2, ETTm1, ETTm2)
- Weather, Traffic, Electricity → 대규모 데이터셋
Baselines
- Transformer 기반 모델: Informer, Autoformer, FEDformer, Pyraformer, LogTrans
- non-Transformer 기반 모델: DLinear
Experimental Settings
- 예측 길이
  - ILI 데이터셋 : 24, 36, 48, 60
  - 나머지: 96, 192, 336, 720
- Look-back Window (L)
  - Transformer 기반 모델: 96
  - non-Transformer 기반 모델(DLinear) : 336
    - 이전 DLinear논문에서 언급 - Transformer 기반 모델 가장 성능 좋았던 길이
Model Variants: 2가지 버전 PatchTST
- PatchTST/64 - Input patch(64), L(512)
- PatchTST/42 - Input patch(42), L(336)
Results
- PatchTST 모델이 Baselines(Transformer 기반 및 DLinear)에 비해 우수한 성능
  - 최고 성능의 Transformer 기반 모델 비교
    - PatchTST/64는 MSE에서 21.0%, MAE에서 16.7%의 전반적인 감소
    - PatchTST/42는 MSE에서 20.2%, MAE에서 16.4%의 감소
  - DLinear 비교
    - 특히 큰 데이터셋(Weather, Traffic, Electricity)에서 성능차이 큼

4-2. REPRESENTATION LEARNING

experimental Settings
- 자기지도, 사전 학습(Self-supervised Pre-training)
  - non-overlapped patch
  - Look-back Window (L): 512
  - 패치 길이(P): 12 (총 42개의 패치 생성)
  - 마스킹 비율(Masking ratio): 40%
  - 100 epoch self-supervised pre-training
- Evaluation → 사전 학습 후, 평가 위해 2가지 방식 이용하여 지도학습(Supervised Learning) 수행
  1. Linear Probing - 마지막 레이어(모델 Head)만 20 Epoch 학습 (다른 부분은 freezing)
    - vs supervised → Pre-training에 따른 representation learning 능력 비교
  2. End-to-end Fine-tuning
    - vs Linear Probing → Fine-tuning 차이(전체 vs 일부) 능력 비교
    1. Linear Probing 10 epoch → 마지막 레이어(모델 Head)만 10 Epoch 학습 (다른 부분은 freezing)
    2. 전체 20 Epoch 학습

Results

Comparison with Supervised Methods
- Self-supervised(Fine-tuning vs Linear Probing) vs Supervised
- 큰 데이터셋 대상(Weather, Traffic, Electricity)
- Self-supervised Pre-training이 효과적 → representation learning 효과 확인
  - Fine-tuning > Supervised
- PatchTST의 우수한 효과
  - 다른 트랜스포머 기반 모델들보다 뛰어난 성능
Transfer Learning
- pre-trained: Electricity 데이터셋
- fine-tuning: Weather, Traffic 데이터셋
- PatchTST가 baselines(Transformer 기반 모델) 보다 우수한 성능
Comparison with Other Self-supervised Method
- PatchTST self-supervised learning 성능과 다른 time-series representation learning 모델과 비교
  - time-series representation learning 모델: BTSF, TS2Vec, TNC, TS-TCC
  - 데이터셋: ETTh1
- Self-supervised, Transferred 둘다 PatchTST가 다른 representation learning 모델보다 우수

4-3. ABLATION STUDY

Patching and Channel-independence
- PatchTST vs FEDformer(기존 Transformer 기반 모델 중 SOTA모델)
  - FEDformer → channel-mixing(변수간 상관성 고려)
- 비교 PatchTST( P+CI / P / CI / Original) / FEDformer
- P(Patching ), CI(Channel-independence) 둘다 적용한 PatchTST가 가장 우수한 성능
  - Patching, Channel-independence 기법의 우수성 입증
Varying Look-back Window
- 기존 논문 : 기존 Transformer 기반 LTSF 모델들은 더 긴 look-back window(L)의 이점을 제대로 활용하지 못함
  - Transformer 기반 모델들은 큰 크기의 look-back window에서 오히려 성능이 하락하여 temporal relation을 잘 추출하지 못하는 경향
- look-back window(L)이 길어질수록 MSE 감소
  - PatchTST가 긴 과거 시퀀스로부터 temporal relation 효과적 추출, 예측 성능 향상

4-4. Appendex

CHANNEL-INDEPENDENCE ANALYSIS
- Channel-Independence vs Channel-Mixing
  - Adaptability: Channel-Independence → 각 채널이 자신에게 적합한 어텐션 맵(attention map) 학습 (유사한 패턴이라도 다른 어텐션맵 특징 시각화)
  - Channel-Mixing 모델은 오버피팅 현상 발생 → Channel-Independence의 더 좋은 일반화 능력

5. CONCLUSION AND FUTURE WORK

시계열 예측 위한 Transformer 구조 제안 (PatchTST)
- 핵심 기법: 패칭(patching), channel-independent(CI)
우수한 성능
- Supervised Learning - 기존 Transformer 기반 모델들 보다 우수
- Self-supervised Learning
- Transfer Learning

3. Implementation

https://github.com/yuqinie98/PatchTST?tab=readme-ov-file

GitHub - yuqinie98/PatchTST: An offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with

An offical implementation of PatchTST: "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers." (ICLR 2023) https://arxiv.org/abs/2211.14730 - yuqinie98/PatchTST

github.com

예시 데이터셋을 이용하여 실험
- Supervised Learning Transformer 후 예측
- Self-supervised Learning Transformer → 전체 파인튜닝 후 예측

4. Discussion

현재 PatchTST모델 → Channel Independence 방식
- 직관적으로 변수간 상관성이 모델 예측에 중요할 것이라고 생각됨
- channel-mixing으로 성능 끌어올린 방법론이 있는지
각 패치 길이를 동일하게 설정함
- 패치(P)와 스트라이드(S) 길이를 동적으로 변경해서 모델에 반영한다면?
  - 변동이 큰 시퀀스 부분은 패치길이를 짧게? / 주기성과 유사하게 패치개수만큼 분할 등
    - 시계열 학습 불알정할 가능성 매우 큼 Like GAN idea 유사
  - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting
  - (CIKM 2025)
  - 시계열의 엔트로피 변화를 감지해 Patch를 자동으로 조절하는 모델
  - https://arxiv.org/html/2509.26157v1
PatchTST + 변수 상관관계까지 고려(Channel Attention 레이어) = CT-PatchTST (Channel-Time PatchTST
https://arxiv.org/abs/2501.08620

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting Sachith Abeywickrama1, 2 Emadeldeen Eldele3, 2 Min Wu2 Xiaoli Li2, 4 Chau Yuen1 1School of Electrical and Electronics Engineering, Nanyang Technological University, Singa

arxiv.org

CT-PatchTST: Channel-Time Patch Time-Series Transformer for Long-Term Renewable Energy Forecasting

Accurate forecasting of renewable energy generation is fundamental to enhancing the dynamic performance of modern power grids, especially under high renewable penetration. This paper presents Channel-Time Patch Time-Series Transformer (CT-PatchTST), a nove

arxiv.org

현재 PatchTST모델 → Channel Independence 방식
- 직관적으로 변수간 상관성이 모델 예측에 중요할 것이라고 생각됨
- channel-mixing으로 성능 끌어올린 방법론이 있는지
각 패치 길이를 동일하게 설정
- 패치(P)와 스트라이드(S) 길이를 동적으로 변경해서 모델에 반영한다면?
  - 변동이 큰 시퀀스 부분은 패치길이를 짧게? / 주기성과 유사하게 패치개수만큼 분할 등
    - 시계열 학습 불알정할 가능성 매우 큼 Like GAN idea 유사
  - EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting
  - (CIKM 2025)
  - 시계열의 엔트로피 변화를 감지해 Patch를 자동으로 조절하는 모델
  - https://arxiv.org/html/2509.26157v1
PatchTST + 변수 상관관계까지 고려(Channel Attention 레이어) = CT-PatchTST (Channel-Time PatchTST)
https://arxiv.org/abs/2501.08620

EntroPE: Entropy-Guided Dynamic Patch Encoder for Time Series Forecasting

arxiv.org

CT-PatchTST: Channel-Time Patch Time-Series Transformer for Long-Term Renewable Energy Forecasting

arxiv.org

P-sLSTM
- Paper: Unlocking the Power of LSTM for Long Term Time Series Forecasting
- PatchTST의 성공 공식(패치+채널 독립)을 LSTM에 적용했더니, 트랜스포머보다 가볍고 성능도 좋았음
- https://arxiv.org/abs/2408.10006

Unlocking the Power of LSTM for Long Term Time Series Forecasting

Traditional recurrent neural network architectures, such as long short-term memory neural networks (LSTM), have historically held a prominent role in time series forecasting (TSF) tasks. While the recently introduced sLSTM for Natural Language Processing (

arxiv.org