您的当前位置:首页正文

基于粒子群优化的BP神经网络预测方法及其应用研究

2020-05-08 来源:我们爱旅游
维普资讯 http://www.cqvip.com

2008年第1期 漳州师范学院学报(自然科学版) No.1.2008年 (总第58期) Journal of Zhangzhou Normal University(Nat.Sci.) GeneraI No.58 文章编号:1008-7826(2007)04-0032-40 基于粒子群优化的BP神经网络预测方法及其应用研究 黄丽君 ,郭文忠2 (1.福建工程学院经济管理系,福建福州350014;2.福州大学数学与计算机科学学院,福建福州350002) 摘要:本文提出了一种基于粒子群优化的BP神经网络预测方法.该方法利用粒子群优化算法全局搜"gBP 神经网络的权值和阚值,并利用优化后的BP网络建立预测模型对经济指标进行预测.仿真实验结果表明,该方法 克服了传统BP神经网络本身所存在的局部最小值和训练速度慢等不足,能够较好应用于定量经济指标预测,有 效提高了预测的精度. 关键字:经济预测;粒子群优化;BP网络 中图分类号:TP183;F124 文献标识码: A 1 引言 经济预测是对未来经济发展所做出的科学判断或预见,它是根据经济科学自身的规律,应用科学方法, 对经济过程及其各要素的变动趋势做出的客观描述.经济预测是各级领导和经济管理工作者制定政策,做 出决策,编制计划及进行科学管理的重要依据,经济预测在经济建设中的重要意义不容置疑.按照预测结 果及方法的性质分,经济预测可分为定性经济预测和定量经济预测.目前最常用的定量经济预测方法主要 有…:时间序列分析、线性回归法、非线性回归法、灰色预测法、投入产出法、马尔可夫预测法、神经网 络预测法等.在几种常用的定量经济预测方法中,神经网络预测方法是近年来备受关注,而BP神经网络 是目前应用的比较普遍的一种神经网络 . 粒子群优化算法(Particle Swarm Optimization,PSO)最早是由Kenney与EberhartMT于1995年提 出的,源于对鸟群捕食的模拟,进而演化而来的随机化搜索最优解的方法.PSO利用种群中个体对信息的 共享,自适应地调整搜索方向,具有内在的隐并行性和很好的全局寻优能力,并且流程简单实现、算法参 数简洁、无需复杂的调整.由于BP神经网络存在收敛速度慢和易陷入局部极值点等缺陷,本文充分利用 PSO的上述特点,提出一种基于PSO的BP网络预测方法,该方法利用PSO训练BP网络的权值和阈值, 综合神经网络能自动在海量数据中提取隐藏规律和PSO全局搜索、收敛速度快的优点对经济指标进行预 测. 2基于PSo的BP神经网络预测方法 2.1 BP神经网络 BP网络一般为多层神经网络,是一种多层前馈神经网络,其传输函数通常采用S(sigmoid)函数: 1 厂( )=—二一 (1) 1+e BP网络的学习过程分为两个阶段: (1)输入已知学习样本,通过设置的网络结构和前一次迭代的权值和阈值,从网络的第一层向后计算各 收稿日期:2007.11.10 基金项目:教育部科学技术研究重点项目(206073);福建省自然科学基金项目(A0610012) 作者简介:黄丽君(1976.),女,福建省莆田市人,硕士. 维普资讯 http://www.cqvip.com 第1期 黄丽君,郭文忠:基于粒子群优化的BP神经网络预测方法及其应用研究 33 神经元的输出; (2)对权值和闽值进行修改,从最后一层向前计算各权值和阈值对总误差的影响(梯度),据此对各 权值和阈值进行修改. 以上两个过程反复交替,误差逐层往回传递,以修正层与层间的权值和阈值,直到达到收敛为止,本 文下面的PSO适应度函数就是依据这个确定的.同时,因为在神经网络训练中,可能出现所谓的“过适配” 问题【4j,对于训练集的样本误差可以很小,但对于训练集以外的新样本其误差会很大,即网络记忆了训练 过的样本,但缺乏对新样本泛化的能力.本文通过修正网络误差性能函数及误差性能调整率来提高网络的 泛化能力. 2.2基本PSo算法 基本PSO算法中,粒子的位置代表被优化问题在搜索空间中的潜在解.所有的粒子都有一个由被优化 的函数决定的适应值,每个粒子还有一个速度决定它们飞翔的方向和距离,粒子们追随当前的最优粒子在 解空间中搜索.PSO初始化为一群随机粒子(随机解),然后通过迭代找到最优解.在每一次迭代中,粒子通 过跟踪两个“极值”来更新自己.一个是粒子本身所找到的最优解,称为个体极值pbest;另一个极值是整 个种群目前找到的最优解,称为全局极值gbest.粒子主要根据以下公式更新自己的速度和位置: Vid=WVid+C1rand1O(pbest—Xid)+C2rand2O(gbest一 d) Xid=Xid+V (2) (3) 由于BP网络在预测时还存在一些问题,例如收敛速度慢、易陷于局部极小、学习过程常发生振荡、 训练过程中学习新样本时有遗忘旧样本的趋势等【4】.为克服这些不足,本文引入PSO,利用其良好的算法 收敛性使所求问题能够以较大概率收敛到全局最优解或次优解,很好地解决了BP神经网络本身存在的局 部收敛性问题,同时还可以优化BP网络的权值和阈值,提高BP神经网络在经济指标预测中的精度. 2.3基于PSo的BP神经网络预测方法 2.3.1编码机制 BP网络在学习时,其权重的初始值是非常重要的,初始值过大或者过小都会影响学习速度,这是一 个复杂的参数体系优化过程.本文对权值采用实数编码,初始的权值设置为随机数,每个粒子代表一个神 经网络的权值初始分布,并设定粒子的最大速度限制. 2.3.2参数控制 (1)本文的BP网络包括输入层、隐层和输出层三层.其中输入层节点数有InNum个;输出层节点数有 OutNum个:隐层的节点数确定比较麻烦,太多会导致学习时间过长,太少则容错性差、识别未经学习样 本的能力低,这里采用如下公式进行隐层节点数的设计【4】: MidNum: +日 (4) 其中,MidNum为隐层节点数,a为1~10之间的常数. (2)粒子的惯性权重w采用线性递减方式 ,具体如式(5)所示,而加速因子 和c2采用作者前期工 作提出的调整策略 们,具体如式(6)和(7)所示. w ,=W…一—, max一_Wma x -— Wmin。.c,f Pr r …(5) ■rJ‘^^J● , 维普资讯 http://www.cqvip.com

34 漳州师范学院学报(自然科学版) 2008熊 (Cle--Ch.)+c。= ,.‘ c- (6) c:= ‘ ,., (C2Me--C2s)+∞cIter cz (7) 其中,citer为当前迭代代数,Wm =0.95,Wm|n=0.25,Maxlter为总迭代代数,CI =2.75,CI =1-25, C2 =o.5,C2P=2.25. 2.3.3适应度函数 因为BP网络是一种前馈神经网络,其误差是逐层往回传递来修正层与层间的权值和阈值,直到收敛 为止.为此,这里粒子的适应度函数定义如下: mad: (8) 其中,Q代表训练样本数,Y代表神经元输出的实际值,t代表神经元的期望值. 2.3.4算法描述 本文提出的基于PSO的BP神经网络算法流程如下: Stepl: 初始化所有粒子,设置粒子的初始位置和速度,每个粒子的pbest设为其初始位置,pbest 中的最好值即为gbest: Step2: 评价每个粒子的适应值,计算每个粒子的目标函数: Step3: 对每个粒子,将其适应值与其经历过的最好位置pbest进行比较,如果优于pbest,则将其 作为当前的最好位置pbest,同时将其适应值与种群所经历过的最好位置gbest进行比较,如果优于 gbest,则将其作为种群最优位置; Step4: 根据式(2)和(3)调整当前粒子的速度和位置; Step5: 将新个体插入到种群中,计算新个体的评价函数; Step6. 检查终止条件,若满足则终止迭代,否则转步骤2: Step7: 用得到的优化初值作为BP网络的初始权值和阈值,进而训练网络并进行预测. 3仿真实验 3.1实验数据集与参数设置 仿真试验的样本集来自国家统计局的1990.2001年的16项经济指标,具体如表1所示,本文提出预测方 法的参数选取为: m=4,OutNum=1,MidNum由式(4)确定. 3.2实验结果分析 为验证本文提出预测方法的性能,本实验分两组进行:第一组比较本文提出预测方法(简称PSO.BP) 和文献【5】给出的GA.BP算法进行神经网络训练的速度比较,比较结果如图1所示:第二组用表1中的16项 经济指标,以本文提出的PSO.BP预测方法对2002--2010年的国民生产总值进行预测,预测结果如图2所示. 图1结果表明了采用PSO.BP预测方法,训练速度比GA.BP有明显的提高,采用PSO.BP大约迭代到1oo代即 可以达到0.001的误差,而采用GA.BP ̄lJ大约一直迭代700代左右才达到0.01的误差.由图2结果可知, 2002.2006年的国民生产总值变化趋势与目前的国民生产总值变化趋势基本上一致,因此可以将预测结果 用于模拟计算. 维普资讯 http://www.cqvip.com

第1期 黄丽君,郭文忠:基于粒子群优化的BP神经网络预测方法及其应用研究 表1 1990-2001年的16项经济指标 误差籍度 。0 0 0 0 邓静 l 2 赫 鼍r嚣 咒 壮 谢亿 .・ ±’T囊待搿警 }9・柏 {‘ l } ・ l8681.8 21 781 5 26923.5 3S333 g 481gT.9 日0793.7 Ti!T8.6 18973 S l ‘ ' 7 S{ 0 S,赫舢 I{}7札0 ∞ 巧 l1 、 l3 }0 l蚺{ }0q l ’1f1 l7 l1 l -” 3jHX) l .I7‘ ’2 2:j6 B4402.3 89677.I 992i4.6 lO9665: 427 5 : 也 7 2H73,S 7“j71 , |j 3 34A) :料2m } iJ }} :“‘j” 4 蒜 建 愤磷乜fL) 鞋箍 【匕艚^{ t 德簿 辨群罐) }■ S 2l15 s I23^ 19 7t Il:7 4hI5 《∞6 7 1l41 I 7H{ 2I { ) 6 493 6M2 2 740 ̄.f1 }7∞ } l“4 l 4 5 2 b, l11q‘1 S l、 I 42 I,l¨ lJ卿q l 4a0 i49.≮ 错 0 I“,7E J: J 3779S{] l三 Hf I 0f J 0 {'目 7D I' “ )n 蛐 l I  ̄g76.0 It4441 }《’3 7 褂峨姓^ 托 g ”嫂 j髓 ,H j 6 : 574: ∞ 4“ jn 5792 : 6 7: 6 I ¨}7 7 t,S j# “ 嚣 韪 ≈ j_19 q,4l I lI 4 } l1 S : tS S ! kI土j l^2 , 2 l2】,;' ∞ 4 27々 ≮ 7 S 瑚 l S ∞l5-"S q''AO 4 S1 6 蛐 7破4 "S僻: 钟 1 I{1溃赣 钙 漳花, : 《 I{ 4llS 6 lt弛}0 m3翩 {I9. 7 I2462I “I 1 )0 ? 1 27 # 1 lM’ 钾州} tI 秘越擘锤t奄鼯惭觳 l LI Rn l:遵^I_.叠 ld 督: ;f 15, 5 ^l; I£jjl I 7三25 S l 0 9l1 6 彗4I{1 2 l】JfJ l}:'{¨ 21 ̄ ̄gl }1^7 It≮I 2:M99.9 Il l I1 1 2m 0 :鹋57 7 |{I2S ,呻§ 撕1 #讳3 37274: 协I 7 7 l34 6J c1 m I 421 l5K n ' R j3群托 ☆静绗崭l卅数 龆配咒 ’ 绝 蚺 锈静精教臀 j 1 J,S : E5 { ^4 J B4口 I I 4 ̄923, 6f(17 ̄ ̄3.5 " ̄394 l |4 I, l州j诹5 l J 2I 黼7 】^娃译辨踌瓢划赢 ,2 。。 l{ jj 0删 误勘精 ¨ ∞ ∞ PSO—BP ¨ C^—BP 0 0蒉 j 2 墓2 0 015 0 04 爱¨ 0 0 。 0 02, / 0 lo0 200 300 q00 500 5ci[1 7o0 迭代次数 。0 蜘 曲_ 由 1茄 I20 ¨i/ , 蕊 涵 幽 迭代次数 图1用GA.BP算法与PSO一,BP的训练速度比较图 图2 2002—2010年国民生产总值预测结果图 4结论 本文提出了一种利用PSO优化BP网络的预测方法并应用用于经济指标预测当中.多组实验测试表明 PSO.BP预测方法对于经济指标预测有更好的预测效果,对建立其他问题的预测模型具有较好的参考价值. 参考文献: 【1】冯文权.经济预测与决策技术(第4版)【M】.武汉:武汉大学出版社,2002. 【2】沈世镒.神经网络系统理论及其应用【M】.北京:科学出版社,1998. 【3】Eberhart R C,Kennedy J.A new optimizer using particles swarm theory[C]//Proceeding of the S;ixth International ISymposium on Micro Machine and Human Science.Nagoya,.Japan:IEEE Service Center,Piiscataway,1995:39-43. 【4钟4】珞,饶文碧,邹承明.人工神经网络及其融合应用技术【M】.北京:科学出版社,2007. 【5】Shi Y H,Elberhart R C.A Modiied Partide Swarm Optifmizer[C】.In:IEEE Inl:ernationaI conference of E',volutionary Computation,Anchorage,Alaska.1998:69-73. 【6】We ̄nzhong Guo,Guolong C,'hen,Xiang Fen.A New St]xategy of Acceleration Coefficients for Partide Swarm 0,ptimization[C1.Progress in the 10th International Conference on C:omputer Supported C ̄ooperative Wl0rk in Design (CSCWD 2006).,Nan-jing ̄。china:Southeast U喇iversity Press,2OO6,(5):72.76. 【7】黄丽君,罗方芳.经济指标滚动递推预测模型研究【J】.统计与决策,2006.,7:6—7. A BP Neural Network Predicfion Method Based on Particle Swarm OptOptimization and Its imization and Its Applicatication ionHUANG Li-jun ,GUO Wlen.zhong2 (1.,Economic and Management Department,Fujian University of Technology,Fujian,350014,China;2.College of Mathematics and Computer Science,.Fuzhou University,.Fuzhou 35OOO2。China) Abstract:TIhis paper advances a BP neural net1work prediction method based on particle swarm optiimization(PSo).It uses PSo to reach global optimization of BP neural ̄network’s weight value and threshold value.and applies the method in economic performance prediction,.Experiment results show that this method can overcome the inherent shortage of the traditionalI BIP network and effe;ctively improve the accuracy of situation prediction.. Key words:economic prediction;particle swarm optimization:BP neural network 【责任编辑:周两边】 

因篇幅问题不能全部显示,请点此查看更多更全内容