自回归模型AR详解哦

【摘要】：主要讨论时间序列的自回归模型AR(p)的参数估计问题，列出常用的普通最小二乘估计。但实际的观测值是含有随机误差的，且与自身前一个或前几个时刻的观测值有关或有依赖性，都要考虑其所含的随机误差，所以引入整体最小二乘法的思想进行参数估计，得出相应的公式，最后并以算例加以验证与分析讨论。 关键词：自回归模型；参数估计；整体最小二乘估计；

A Total Least Square Estimation of Autoregressive Processes

Abstract:It discusses mainly the time series autoregressive model AR (p) of the parameter estimation problem, listing commonly used ordinary least squares estimation. But the actual observation contains random error, and with their own previous or the first few moments of the observations relating to, or dependent,so we must take into account the random error it contains.We introduce the total least squares parameter Estimates, and obtain the corresponding formula . In the last give the example to the verification and analysis.

Key words: autoregressive process; estimation of parameter; total least square estimation;

0 引言

时间序列分析的目标就是通过分析要素(变量)随时间变化的历史过程, 揭示其变化发展规律, 并对未来状态进行分析预测。如在变形测量中,可以采用时间序列分析方法对观测数据进行分析,以便建立变形体的动态变形预测模型,并对其变形趋势进行预测。所谓时间序列的参数估计，就是在模型结构及阶次已确定的条件下，对模型参数与进行估计，使所建立的模型是实际时间序列的“最佳”拟合模型。但在实际的观测中，观测值是由一定观测手段得到的，不可避免地含有随机误差，在这种情况下,普通的最小二乘估值难以保证结果的最优性。本文将整体最小二乘法的思想引入时间序列模型中，不仅考虑自身观测值的误差，同时考虑与其有关的自身前一个或前几个时刻的观测值的误差，从而进行参数估计。能够为预测得出更为准确的数据。

[1]

[1]

1 自回归模型[1] 1.1 模型

子样观测值{xi,i0,1,},白噪声序列表示为{at},回归系数用j(j1,2,,p)表示，则可得到的AR模型：

xt1xt12xt2pxtpat (1)

1.2模型参数的最小二乘估计

设样本观测值{Xt,t0,1,}，记

Yxp1xp2xNT

ap1ap2aNT 12pT

xpxp1AxN1则AR(p)模型可以表示为

xp1xpxN2x1x2

xNp YA （2） 由最小二乘原理可得到模型参数的估计为

ˆ(ATA)1ATY 那么根据最小二乘估计值可以得到噪声的估值为

ˆ1xt2ˆ2xtpˆp (tp1,,N) ˆtxtxt1aˆa的最小二乘估值为 噪声方差N112ˆTˆ ˆuatNptp1Np222 整体最小二乘法参数估计

在进行许多时间序列分析的实际问题中，建立模型的主要目的就是在确定模型参数之后，对未来可能出现的结果进行分析预报。而结果又与自身前一个或前几个时刻的观测值有关，观测必有误差的存在，所以不能忽略之前观测值A的随机误差。整体最小二乘法就是同时考虑自变量和因变量误差存在的算法。

方程(2)YA与线性回归方程具有相同的形式。在线性回归中y=ax+b，自变量x是确定的，y和b是随机变量。在AR(p)模型中xt1,xt2,自然也是随机变量，但在t-1时刻，它们均已确定不变，所以AR(p)模型可以看做条件线性回归模型，故可用多元回归分析中的有关方法进行参数估计。A作为自身前一个或前几个时刻的观测值是确定已知的，但在观

[1]

测中是含有随机误差的，在计算中应该考虑其所含误差的影响。应用整体解算的方法进行解算。

2.1整体最小二乘原理及解算步骤。

TLS的基本思想可以归纳为:观测方程YX中，不仅观测向量Y中存在误差Vy，

n,1n,mm,1[2]

同时系数矩阵X中也含有误差VX。此时，可用TLS方法求得参数。也就是说，在TLS中，考虑的是矩阵方程

XVX=YVY （ 2-1） 或

^^ 2-2） XY,XXVX，YYVX （^^^的求解。

在测量数据处理中，n为观测个数，m为参数个数，通常情况下nm，矩阵X的秩

RXmn。显然式（2-1）的矩阵表示为 n,m [X或等价为

Y][VX^0 （2-3） ]VY1 BDz0 （2-4）

其中：

n,m1B[Xn,mY]为增广矩阵，D[VXn,1^求解上式的m,1，VY]为误差矩阵，mZ1,11整体最小二乘方法可以表示为约束最优化问题：

DFmin （2-5）

D是D的F(Frobenius)范数。

F 求的DF=min的问题称为TLS问题，若能找到式(2-1)的一个最小点[VXO^V]，

YO则任何满足XVXOYV的都称为TLS解

YO求解TLS问题的主要工具是奇异值分解

[4]

^[3]

，得

XTBBTXYTXTXYTYXˆXTY,km1,Z TYY1XTX令TYXXTYNXXTYYNXYn,1NXYˆNI1N ，得XXm1XYNYY综上所述，求解矩阵方程YX中参数的TLS解TLS的步骤为： n,mm,1 (1)列观测方程式YX; n,1n,mm,1 (2)构成增广矩阵BXY; n,m1n,mn,1 (3)求矩阵BTB的特征值，并求出最小特征值m1;

^ (4)计算参数的TLS解NXXm1INXY。

m,mm,mm,1m,112.2自回归模型AR(p)的整体估计 线性模型：YA

ˆ 用矩阵形式表示：YXˆ 式中：XA,ˆNI1N， 可得：XXm1XY3 实例分析

以文献[3]例5.6的数据为样本观测数据，共计36个数据

沉降观测数据

序数 高程 1 2 3 4 5 6 26.33 26.27 26.43 25.56 26.82 26.56 序数 高程 7 8 9 10 11 12 25.93 26.43 26.52 25.46 26.12 27.28 序数 高程 13 14 15 16 17 18 26.67 27.95 26.74 27.53 25.31 26.90 序数 高程 19 20 21 22 23 24 28.09 26.78 28.66 26.75 27.24 28.02 序数 高程 25 26 27 28 29 30 26.81 28.50 27.68 26.57 28.36 27.94 序数 高程 31 32 33 34 35 36 26.81 28.50 27.68 26.57 28.36 27.94 (1) 模型参数的最小二乘估计 由文献[3]得模型阶数为p3

ˆxbˆxbˆxx,i4,5,,36 误差方程 vib1i12i23i3iˆb0.0410871ˆ(XTX)1XTY0.327809 ˆb参数估计为 2ˆb0.6350593得自回归模型 xi0.041087xi10.327809xi20.635059xi3

VTV19.4286ˆˆ0.80(mm) 0.6476, n2p302(2) 整体估计

ˆb11ˆˆb参数估计为 2NXXm1INXY ˆb3 得自回归模型

4 结论

不足之处在于矩阵A中是不同时刻的观测值，需要在每个时刻都要进行平差求解才行，这里只是一个整体的结算过程，还需要进行每一的迭代计算。 参考文献

[1]吴怀宇. 武汉：武汉大学出版社[M].2004.

[2]Van Huffel S,Vandewalle J.The Total least Squares Proble,Computational Aspects and

Analysis,Math,SIAM[J].Philadelphia,1991.

[3]邱卫宁，陶本藻，姚宜斌，吴云，黄海兰.测量数据处理理论与方法[M].武汉：武汉大学出版社，2008 [4]俞锦成.关于整体最小二乘的可解性[J].南京师范大学学报(自然科学版)，1996，19(1):13-16.