기본 개념 (2) - Stationary, White noise

Stationary stochastic process

시계열 데이터는 확률 변수의 모임인 확률 과정입니다. (stochastcic process) 밑의 그림과 같이 매 시점 $t$마다 개별적인 확률 변수가 모여 있는 것이 확률 과정이 됩니다. 확률 변수와 마찬가지로 연속된 공간에서의 확률 변수 집합은 연속형 확률 과정 (continuouso stochastic process), 이산 구간일 경우에는 이산형 확률 과정이라 (discrete stochastic process) 볼 수 있습니다.

확률 과정은 시간 전이 (time shift) 에 따른 특성에 따라 stationary / nonstationary 확률 과정으로 분류할 수 있습니다. Stationary stochastic process 란 확률 과정 $X_t$의 분포가 시간 전이 (time shift)에도 분포가 변하지 않는 확률 과정을 말합니다. 특히, stationary는 시계열 분석에서는 많은 신호를 모두 다 다룰 수 없기 때문에 시간에 따라 확률 변수들의 결합 확률 분포가 변하지 않는다고 가정하는 조건입니다. 

Strictly stationary

강한 stationary 란 각 시간점의 확률 변수의 결합 확률 분포가 특정 시간 래그 $h$ 이후에도 변하지 않는다는 조건입니다. $h$의 값에 상관 없이 1, 2 시간점의 관계가 $1+h$, $2+h$ 시간점의 관계가 같은 것이죠. 시계열 데이터 특성상 무수히 많은 확률 변수가 존재하고 각 확률 변수에 대한 분포를 정확히 알 수 없기 때문에 stationary 가정을 통해 단순화하여 확률 변수 간의 관계를 모델링 하게 됩니다.

$F_{t_1, t_2, ..., t_n}(x_1, x_2, ..., x_n) = P(X_{t_1} \leq x_1, X_{t_2} \leq x_2, ..., X_{t_n} \leq x_n) =$

$F_{t_{1+h}, t_{2+h}, ..., t_{n+h}}(x_1, x_2, ..., x_n) = P(X_{t_{1+h}} \leq x_1, X_{t_{2+h}} \leq x_2, ..., X_{t_{n+h}} \leq x_n)$

이러한 stationary의 조건은 모든 $n$에 대해 성립하며, 여기에서 자연스럽게 나오는 부분은 특정 시점 $t, s$에서의 공분산이 $h$이후의 공분산과 같게 된다는 점입니다. $Cov(X_t, X_s)$ = $Cov(X_{t+h}, X_{s+h})$ 가 되는 것이죠. 향후 알아볼 AR, MA, ARMA, ARIMA 등의 모델은 stationary 조건 가정이 밑바탕이 됩니다. 

Weakly stationary

Weakly stationary는 strictly stationary 조건이 너무 강력하여 (실제 상황에서 결합확률분포를 구할 수 없습니다) 조건을 살짝 완화시킨 stationary 의 종류입니다. 다음과 같은 조건을 만족할 때, weakly stationary stocahstic process라 할 수 있습니다.

1) $E[X_t]$ 가 상수이고,
2) 모든 시점 $t, s$에 대해 $Cov(X_t, X_s) = Cov(X_{t+h}, X_{s+h}), t \neq s$ 를 만족하면서,
3) $Var(X_t) = Var(X_{t+h})$ 가 상수여야 합니다.

Strictly stationary 가 성립하면 weakly stationary 가 성립하며, 역은 성립하지 않습니다. 하지만 결합 확률 분포가 가우시안 분포일 경우 (Gaussian process) strictly stationary 와 weakly stationary 가 일치하게 되며, 시계열 데이터에서의 stationary 는 보통 weakly stationary 를 말합니다.

가장 중요한 점은 $Cov(X_t, X_{t+h})$ 가 시간 $t$가 아닌 래그 $h$에만 의존한다는 점입니다. 따라서 weakly stationary 확률 과정에서 래그 $h$에 따른 공분산을 $\gamma_X (h) =Cov(X_t, X_{t+h})$ 로 정의하고 이를 autocovariance function이라 합니다. 

Examples

위 두 시계열 데이터에서 오른쪽이 non-stationary 인 이유는 시간에 따라 평균이 증가하기 때문입니다. Stationary 하기 위해서는 시간에 따라 평균이 상수여야 합니다.

위 두 시계열 데이터에서 오른쪽이 non-stationary 인 이유는 분산이 시간에 따라 변하기 때문입니다. Stationary 하기 위해서는 분산이 시간에 따라 일정해야 합니다.

위 도 시계열 데이터에서 오른쪽이 non-stationary 인 이유는 $Cov(X_t, X_{t+h})$가 시간 $t$에 따라 변하기 때문입니다. Stationary 하기 위해서는 공분산이 래그 $h$에만 의존하여야 합니다.

 

White noise

White nosie (백색소음)은 시계열 데이터에 영향을 미치는 예측할 수 없는 노이즈, 잡음, 외부적 요소를 시간 별로 표현하기 위한 것으로 $a_0, a_1, ..., $로 표현합니다. 시계열 데이터에서의 white noise는 다음과 같은 특성을 만족합니다.

1) 서로 다른 시간대의 백색 소음은 uncorrelated 되었다고 가정합니다. ($Cov(a_t, a_s) = 0, t \neq s$)
2) $E[a_t] = 0$. 특정 지점에서 소음을 계속 관찰을 했었으면 평균은 0이라 가정합니다.
3) $Var[a_t] = \sigma_a^2$. 시간 $t$에 대해서 분산은 상수로 주어집니다.

위의 특성을 고려하여 white noise는 $a_t \sim wn(0, \sigma_a^2)$ 를 따르는 확률 과정 (stochastic process) 라 정의합니다. 또한, 매 시점마다 노이즈가 동일한 분포를 가지고 (identical) (특정 시점부터 노이즈 분포가 변하지 않음), 각 시점의 노이즈 분포가 통계적으로 관계가 없는 독립인 (independent) i.i.d 를 가정합니다. 또한 일반적으로 다루기 쉬운 가우시안 분포 $a_t \sim N(0, \sigma_a^2)$ 를 가정합니다.

White noise는 stationary 할까요? Weakly stationary 조건에 따라 하나하나 살펴보겠습니다.

1) $E[a_t] = 0$ 이므로 weakly stationary 의 1번 조건을 만족합니다.
2) $Cov(a_t, a_s) = Cov(a_{t+h}, a_{s+h}) = 0$ 이므로 weakly stationary 의 2번 조건을 만족합니다.
3) $Var(a_t) = Var(a_{t+h}) = \sigma_a^2$ 이므로 weakly stationary 의 3번 조건을 만족합니다.

모든 조건을 다 만족시키기 때문에 white noise는 stationary stochastic process라 할 수 있습니다.