文章目录
- 三、.正态时间序列与严平稳序列
- 1.多元统计基础
- 2.多维正态分布与正态时间序列
- 3.严平稳序列
- 回顾总结
三、.正态时间序列与严平稳序列
1.多元统计基础
首先对多元统计中的基本概念作简要介绍。如果有一个 n n n维随机向量 X = ( X 1 , ⋯ , X n ) ′ X=(X_1,\cdots,X_n)' X=(X1,⋯,Xn)′，这里每一个 X i X_i Xi是随机变量，那么其均值向量为 μ = E X = ( E X 1 , ⋯ , E X n ) ′ \mu={\rm E}X=({\rm E}X_1,\cdots,{\rm E}X_n)' μ=EX=(EX1,⋯,EXn)′，自协方差矩阵为
D X = Σ X = ( σ i j ) n × n , σ i j = C o v ( X i , X j ) . {\rm D}X=\Sigma_X=(\sigma_{ij})_{n\times n},\quad \sigma_{ij}={\rm Cov}(X_i,X_j). DX=ΣX=(σij)n×n,σij=Cov(Xi,Xj).
可以证明 D X = E [ ( X − μ ) ( X − μ ) ′ ] {\rm D}X={\rm E}[(X-\mu)(X-\mu)'] DX=E[(X−μ)(X−μ)′]（对矩阵求期望相当于对矩阵的每一项求期望）。
对于 m m m维列向量 a a a和 m × n m\times n m×n常数矩阵 B B B，定义线性变换为 Y = a + B X Y=a+BX Y=a+BX，则有
E Y = a + B ( E X ) , D Y = B ( D X ) B ′ . {\rm E}Y=a+B({\rm E}X),\quad {\rm D}Y=B({\rm D}X)B'. EY=a+B(EX),DY=B(DX)B′.
随机向量也有特征函数，且定义方式与随机变量类似，即对于 n n n维实数向量 t = ( t 1 , ⋯ , t n ) ′ t=(t_1,\cdots,t_n)' t=(t1,⋯,tn)′和 n n n维随机向量 X X X，有
φ X ( t ) = E e i t ′ X = E exp { i ( ∑ j = 1 n t j X j ) } . \varphi_X(t)={\rm E}e^{{\rm i}t'X}={\rm E}\exp\left\{{\rm i}\left(\sum_{j=1}^n t_jX_j\right) \right\}. φX(t)=Eeit′X=Eexp{i(j=1∑ntjXj)}.
2.多维正态分布与正态时间序列
时间序列中，正态分布依然是很重要的部分，这里简要提一下多元正态分布。
多维正态分布：如果存在 m m m维常数列向量 μ \mu μ， m × n m\times n m×n常数阵 B B B和相互独立的标准正态随机变量构成的向量 X = ( X 1 , ⋯ , X n ) ′ ∼ N n ( 0 , I ) X=(X_1,\cdots,X_n)'\sim N_n(0,I) X=(X1,⋯,Xn)′∼Nn(0,I)，使得 Y = μ + B X Y=\mu+BX Y=μ+BX，则称随机向量 Y Y Y服从 m m m维正态分布。
我们将多维正态分布，定义为标准正态向量的线性变换，这与一维情形下，正态随机变量可以看成 X ∼ N ( 0 , 1 ) X\sim N(0,1) X∼N(0,1)的线性变换是一致的。显然，这里 E Y = μ , Σ = D Y = B B ′ {\rm E}Y=\mu,\Sigma={\rm D}Y=BB' EY=μ,Σ=DY=BB′。
从特征函数的角度来说，对于标准正态向量有
φ X ( t ) = E exp ( i t ′ X ) = ∏ j = 1 n exp ( − t j 2 / 2 ) = exp ( − t ′ t 2 ) , \varphi_X(t)={\rm E}\exp({\rm i}t'X)=\prod_{j=1}^n\exp(-t_j^2/2)=\exp(-\frac {t't}{2}), φX(t)=Eexp(it′X)=j=1∏nexp(−tj2/2)=exp(−2t′t),
所以
φ Y ( t ) = E exp ( i t ′ Y ) = E exp [ i ( t ′ μ + t ′ B X ) ] = exp [ i t ′ μ − 1 2 t ′ Σ t ] . \varphi_Y(t)={\rm E}\exp({\rm i}t'Y)={\rm E}\exp[{\rm i}(t'\mu+t'BX)]=\exp[{\rm i}t'\mu-\frac12 t'\Sigma t]. φY(t)=Eexp(it′Y)=Eexp[i(t′μ+t′BX)]=exp[it′μ−21t′Σt].
在实际应用时，我们如何判断一个随机向量是正态随机向量呢？要知道，随机向量的正态性验证要比随机变量的正态性验证困难得多，所以我们会想到从随机变量的正态性入手验证随机向量的正态性，即有以下定理：
定理： ξ = ( ξ 1 , ⋯ , ξ n ) ′ ∼ N n ( μ , Σ ) \xi=(\xi_1,\cdots,\xi_n)'\sim N_n(\mu,\Sigma) ξ=(ξ1,⋯,ξn)′∼Nn(μ,Σ)等价于对任何常数向量 a = ( a 1 , ⋯ , a n ) ′ a=(a_1,\cdots,a_n)' a=(a1,⋯,an)′，有
Y = a ′ ξ ∼ N ( a ′ μ , a ′ Σ a ) . Y=a'\xi\sim N(a'\mu,a'\Sigma a). Y=a′ξ∼N(a′μ,a′Σa).
证明可以从特征函数入手，如果 ξ ∼ N n ( μ , Σ ) \xi\sim N_n(\mu,\Sigma) ξ∼Nn(μ,Σ)，则
φ Y ( t ) = exp [ i t ( a ′ μ ) − 1 2 t 2 ( a ′ Σ a ) ] \varphi_Y(t)=\exp[{\rm i}t(a'\mu)-\frac 12t^2(a'\Sigma a)] φY(t)=exp[it(a′μ)−21t2(a′Σa)]
说明 Y ∼ N ( a ′ μ , a ′ Σ a ) Y\sim N(a'\mu,a'\Sigma a) Y∼N(a′μ,a′Σa)。反过来，如果对任何 a a a都有 Y ∼ N ( a ′ μ , a ′ Σ a ) Y\sim N(a'\mu,a'\Sigma a) Y∼N(a′μ,a′Σa)，那么 Y Y Y的特征函数如上式子，只要取 t = 1 t=1 t=1，就得到
φ ξ ( a ) = E e i a ′ ξ = φ Y ( 1 ) = exp [ i a ′ μ − 1 2 a ′ Σ a ] . \varphi_\xi(a)={\rm E}e^{ia'\xi}=\varphi_Y(1)=\exp[{\rm i}a'\mu-\frac 12a'\Sigma a]. φξ(a)=Eeia′ξ=φY(1)=exp[ia′μ−21a′Σa].
所以 φ ξ ( t ) = exp [ i t ′ μ − 1 2 t ′ Σ t ] \varphi_\xi(t)=\exp[{\rm i}t'\mu-\frac 12 t'\Sigma t] φξ(t)=exp[it′μ−21t′Σt]。这样，我们就能够验证一个向量是正态随机向量。在正态随机向量的基础上，可以定义正态时间序列了。
正态时间序列：对于时间序列 { X t } \{X_t\} {Xt}，如果对于任何 n ≥ 1 n\ge 1 n≥1和 t 1 , ⋯ , t n ∈ N t_1,\cdots,t_n\in \N t1,⋯,tn∈N，都有 ( X ( t 1 ) , ⋯ , X ( t n ) ) (X(t_1),\cdots,X(t_n)) (X(t1),⋯,X(tn))是正态随机向量，就称 { X t } \{X_t\} {Xt}是正态时间序列。
正态平稳序列：如果正态时间序列 { X t } \{X_t\} {Xt}还是平稳的，则 { X t } \{X_t\} {Xt}是正态平稳序列。
{ X t : t ∈ N + } \{X_t:t\in \N_+\} {Xt:t∈N+}是正态时间序列的充分必要条件，是对任何正整数 m m m， ( X 1 , ⋯ , X m ) (X_1,\cdots,X_m) (X1,⋯,Xm)服从 m m m维正态分部； { X t : t ∈ Z } \{X_t:t\in \Z\} {Xt:t∈Z}是正态时间序列的充分必要条件，是对任何正整数 m m m， ( X − m , ⋯ , X m ) (X_{-m},\cdots,X_m) (X−m,⋯,Xm)服从 2 m + 1 2m+1 2m+1维正态分布。
正态随机向量相比其他随机向量的优越性，在于它的运算封闭性，即正态随机向量经过线性变换，得到的仍然是正态随机向量。
3.严平稳序列
严平稳序列看似平稳，但其实与平稳序列之间存在着一些细微差别，并且二者不存在包含关系。下面给出严平稳序列的定义。
严平稳序列：如果 { X t : t ∈ N } \{X_t:t\in \N\} {Xt:t∈N}是时间序列，对任何正整数 n n n和 k ∈ N k\in \N k∈N，有 ( X 1 , ⋯ , X n ) ′ (X_1,\cdots,X_n)' (X1,⋯,Xn)′与 ( X 1 + k , ⋯ , X n + k ) ′ (X_{1+k},\cdots,X_{n+k})' (X1+k,⋯,Xn+k)′同分布，就称 { X t } \{X_t\} {Xt}是严平稳序列。
这个定义表明，对严平稳序列而言，取出一组变量，将其任意平移都不会改变联合分布，即严平稳序列具有平移不变性。特别当取 n = 1 n=1 n=1时，能够证明严平稳序列中每一个随机变量都是同分布的。但我们不能得出各个随机变量中的相关性，因为严平稳序列中对相关性的唯一要求，就是平移不影响向量的内部结构（即自相关性）。
对比严平稳序列与宽平稳序列的要求，可以发现，严平稳序列的平移不变性，能够直接推出均值的一致性与自协方差函数与时间差的一一对应关系，所以只要严平稳序列是二阶矩存在的，就一定是宽平稳序列。注意严平稳序列并不要求随机变量是存在二阶矩的。
而宽平稳序列只对均值、自协方差函数做出了要求，而没有对每个随机变量的分布作具体要求。但如果通过均值、方差能够直接推得分布，就由均值方差的一致性，自然得到每个时间点随机变量是同分布的。特别地，如果宽平稳序列是正态序列，就一定是严平稳序列。
严平稳序列有一个重要的要求是其遍历性，这指的是从它的一次实现（样本轨道）就可以推得其有限维分布，由于现实生活中时间是单向进行的，遍历性无疑具有重要价值。需要注意，并不是所有的严平稳序列都具有遍历性，但我们上一篇中讨论的线性平稳序列，在一定条件下具有遍历性，定理如下。
定理1：如果 { ε t } \{\varepsilon_t\} {εt}是独立同分布的 W N ( 0 , σ 2 ) {\rm WN}(0,\sigma^2) WN(0,σ2)，且 { a j } \{a_j\} {aj}平方可和，则无穷滑动和 X t = ∑ j = − ∞ ∞ a j ε t − j , t ∈ Z X_t=\sum\limits_{j=-\infty}^\infty a_j\varepsilon_{t-j},t\in\Z Xt=j=−∞∑∞ajεt−j,t∈Z是严平稳遍历的。
定理2：如果 { X t } \{X_t\} {Xt}严平稳遍历，则强大数律 lim n → ∞ 1 n ∑ t = 1 n X t = E X 1 \lim\limits_{n\to \infty}\dfrac 1n\sum\limits_{t=1}^n X_t={\rm E}X_1 n→∞limn1t=1∑nXt=EX1几乎必然成立，且对任何多元函数 φ ( x 1 , ⋯ , x m ) \varphi(x_1,\cdots,x_m) φ(x1,⋯,xm)， Y t = φ ( X t + 1 , ⋯ , X t + m ) Y_t=\varphi(X_{t+1},\cdots,X_{t+m}) Yt=φ(Xt+1,⋯,Xt+m)是严平稳遍历的。
正因为线性平稳序列具有严平稳序列具有的遍历性，由其一次观测结果就可以推得有限维分布，所以线性平稳序列具有重要的地位，且对线性平稳序列估计参数时，往往会用到遍历性。
回顾总结
- 多元统计的相关结论：如果 Y = A + B X Y=A+BX Y=A+BX，则 E Y = A + ( B E ) X , D Y = B ( D X ) B ′ {\rm E}Y=A+(B{\rm E})X,{\rm D}Y=B({\rm D}X)B' EY=A+(BE)X,DY=B(DX)B′。
- 我们将正态随机向量定义为标准正态向量的线性变换 Y = μ + B X Y=\mu+BX Y=μ+BX，在这种定义下， Y Y Y的均值为 μ \mu μ，方差为 B B ′ BB' BB′。
- 对随机向量正态性的验证具有以下的等价条件：只要随机向量的任意线性组合仍然是正态随机变量，则随机向量是正态向量，反之也成立。
- 正态时间序列定义为，任意有限维时间点组成的向量都是正态随机向量，这样的时间序列称为正态时间序列。特别当时间序列还是平稳的时，称为正态平稳序列。
- 严平稳序列指的是具有平移不变性的时间序列，即任意有限维向量经过平移后与原向量具有相同的联合分布。其遍历性，指的是从一次实现可推出任意有限维分布的性质。
- 严平稳的二阶矩序列是宽平稳的，宽平稳的正态序列是严平稳的。
- 特别地，当 { ε t } \{\varepsilon_t\} {εt}是独立同分布白噪声序列时，线性平稳序列是具有遍历性的严平稳序列。
