时间序列动态学习率神经网络模型及其初步试验

维普资讯 http://www.cqvip.com 究论文　沙漠与绿洲气象　第２卷第３期　Ｄｅｓｅｒｔ　ａｎｄ　Ｏａｓｉｓ　Ｍｅｔｅｏｒｏｌｏｇｙ　２００８年６月　时问序列动态学习率神经网络模型　及其初步试验　巫红星，黄文君　（库车县气象局，新疆库车８４２０００）　摘要：神经网络在气象上的应用往往是采用固定学习率的ＢＰ算法建模，学习过程易出　现振荡现象和网络存在冗余连接等缺陷，基于此对神经网络进行了改进。利用时间序列分析方　法对样本数据进行处理，用改进后的神经网络对时间序列样本数据进行训练预测，创建了时间　序列动态学习率神经网络模型。最后用库车县１９９７－－２００７年四季的平均气温值作样本数据进　行训练，其训练精度和拟合度都达到很高的标准，用该模型预测了库车县２００８年的气温。通过　实例证明这个模型在气象预测领域有一定的实用价值。　关键词：神经网络；时间序列；动态学习率；气象预测　中图分类号：Ｐ４０９　文献标识码：Ｂ　文章编号：１００２—０７９９（２００８）０３—００４４—０４　Ａｉｒ　Ｔｅｍｐｅｒａｔｕｒｅ　Ｐｒｅｄｉｃａｔｉｏｎ　Ｕｓｉｎｇ　ａ　Ｄｙｎａｍｉｃ　Ｌｅａｒｎｉｎｇ　Ｒａｔｅ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｍｏｄｅｌ　Ｂａｓｅｄ　ｏｎ　Ｔｉｍｅ　Ｓｅｒｉｅｓ　ＷＵ　Ｈｏｎｇ－ｘｉｎｇ．ＨＵＡＮＧ　Ｗｅｎ－ｊｕｎ　（Ｋｕｃｈｅ　Ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　Ｂｕｒｅａｕ，Ｋｕｃｈｅ　８４２０００，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｉｎ　ｗｅａｔｈｅｒ　ｆｏｒ　ｆｏｒｅｃａｓｔｉｎｇ　ｗａｓ　ｏｆｔｅｎ　ａｄｏｐｔ　ＢＰ（Ｂａｃｋ　Ｐｒｏｐａｇａｔｉｏｎ）ａｌｇｏｒｉｔｈｍ　ｗｉｔｈ　ａ　ｆｉｘｅｄ　ｌｅａｒｎｉｎｇ　ｒａｔｅ　ｔｏ　ｍｏｄｅｌｉｎｇ　ｔｈｅ　ｍｕｌｔｉ—ｌｅｖｅｌ　ｍｏｄｅｌ，ａｎｄ　ｍａｎｙ　ｌｉｍｉｔａｔｉｏｎｓ　ａｒｅ　ｐｒｅｓｅｎｔｅｄ　ｓｕｃｈ　ａｓ　ｖａｃｉｌｌａｔｉｏｎ　ｐｈｅｎｏｍｅｎａ　ａｎｄ　ｒｅｄｕｎｄａｎｃｙ　ｌｉｎｋ　ｉｎ　ｎｅｔｗｏｒｋ，ＳＯ　ｔｈｉｓ　ｐａｐｅｒ　ｉｍｐｒｏｖｅ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅ１．Ｆｉｒｓｔ　ｔｈｅ　ｅｘａｍｐｌｅ　ｄａｔａ　ｉｓ　ｄｉｓｐｏｓｅｄ　ｂｙ　ｔｉｍｅ　ｓｅｒｉｅｓ　ｍｅｔｈｏｄ，ｎｅｘｔ　ｔｈｅ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｉｓ　ｍｏｄｉｉｆｅｄ，ａｎｄ　ｔｈｅｎ　ｔｈｅ　ｔｉｍｅ　ｓｅｒｉｅｓ　ｓａｍｐｌｅ　ｉｓ　ｔｒａｉｎｅｄ　ｂｙ　ｕｓｉｎｇ　ａ　ｍｏｄｉｉｆｅｄ　ｍｏｄｅｌ，ａｆｔｅｒ　ａｂｏｖｅ　ｓｔｅｐｓ　ｔｈｉｓ　ｐａｐｅｒ　ｓｅｔ　ｕｐ　ａ　ｄｙｎａｍｉｃ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｗｉｔｈ　ｔｉｍｅ　ｓｅｒｉａｌ　ｍｏｄｅ１．Ｆｉｎａｌｌｙ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｏｂｓｅｒｖｅｄ　ｔｅｍｐｅｒａｔｕｒｅ　ｄａｔａ　ｏｆ　Ｋｕｃｈｅ　ｉｎ　１９９７—２００７　ｉｓ　ｔｒａｉｎｅｄ　ｂｙ　ｕｓｉｎｇ　ａ　ｄｙｎａｍｉｃ　ｍｏｄｅｌ　ａｎｄ　ｔｈｅ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈｅ　ｔｒａｉｎｉｎｇ　ｐｒｅｃｉｓｉｏｎ　ａｎｄ　ｆｉｔｔｉｎｇ　ａｃｃｕｒａｃｙ　ｔｏ　ｂｅ　ａ　ｈｉｇｈ　ｓｔａｎｄａｒｄ，ａｎｄ　ｔｏ　ｐｒｅｄｉｃｔ　２００８　ｔｅｍｐｅｒａｔｕｒｅ　ｏｆ　Ｋｕｃｈｅ　ｗｉｔｈ　ｔｈｉｓ　ｍｏｄｅ１．Ｔｈｒｏｕｇｈ　ｔｈｉｓ　ｅｘａｍｐｌｅ　ｐｒｏｖｅ　ｔｈｉｓ　ｍｏｄｅｌ　ｔｏ　ｂｅ　ａ　ｕｔｉｌｉｔｙ　ｖａｌｕｅ　ｆｏｒ　ｔｈｅ　ｄｏｍａｉｎ　ｏｆ　ｍｅｔｅｏｒｏｌｏｇｉｃａｌ　ｐｒｅｄｉｃｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ（ＮＮ）；ｔｉｍｅ　ｓｅｒｉｅｓ；ｄｙｎａｍｉｃ　ｌｅａｒｎｉｎｇ　ｒａｔｅ；ａｉｒ　ｔｅｍｐｅｒａｔｕｒｅ　ｐｒｅｄｉｃｔｉｏｎ　神经网络在大气科学领域有着广泛的应用，文　些具体应用。文献［５】全面综述了国内外大气学科中　献【ｌ卜［４】分别探讨了在降水预报和旱情预报方面一　神经网络方法在中、短期天气预报，短期气候预测，　农业气象，空气污染预报，卫星云图识别以及气象观　收稿日期：２００７—１２—１３；修回日期：２００８—０５—１６　作者简介：巫红星（１９６８一），男，助理工程师，从事预报工作。　测资料处理等许多方面的应用研究。　Ｅ－ｍａｉｌ：ｗｕｈｚ６９６６ｑ＠ｓｏｈｕ．ｃｏｒｎ　气候系统是一个耗散的、具有多个不稳定源的　维普资讯 http://www.cqvip.com 巫红星等：时间序列动态学习率神经网络模型及其初步试验　高阶非线性系统，其复杂的内部相互作用和自由　变化导致了气候的可变性和复杂性。人工神经网　络擅长处理知识背景不很清楚，模糊、随机的大量　信息，特别是可以处理非线性系统，并且具有很强　的自学习能力和适应能力等特点。因而神经网络　方法已广泛应用于长期天气趋势预报中，并取得　了一定效果。　关系，描述为Ｘ　Ｘ¨，Ｘ　Ａ，Ｘ　＋　）。用三层神经　网络（见图１）来拟合这个周期函数Ｆ（・），并预测未　来的　值。输入层将时间序列　，　出。规定ｋ个学习样本　＝（　，Ｘ：，Ａ，　，，…，　作　为整个神经网络的输入，以　作为网络的期望输　），Ｐｚ＝（Ｘ：，　Ａ，　＋。）…，　＝（兄，Ｘ　，Ａ，Ｘ　制），对应的ｋ　个教师样本　：（　。），　＝（　），…，　＝（　执　），学　目前神经网络在气象上的应用往往是利用固定　学习率的神经网络的ＢＰ算法建模，多用于月平均　习的目的是用ｋ个学习样本，对应的网络输出是　ｙ。，ｙ　，…，ｙ　，与相应的教师样本　，　，…，　之间　气温、极端气温、暴雨等方面。而神经网络ＢＰ算法，　学习过程中存在易陷入局部极小，学习收敛速度慢，　学习过程易出现振荡现象和网络存在冗余连接等缺　陷。基于这些缺陷以及计算机硬件因素，这些神经网　络学习时间都很长【６］。本文用改进后的神经网络对　时间序列样本数据进行训练预测，创建了时间序列　动态学习率神经网络模型，达到较好的预报效果。为　神经网络在气象业务中的应用提供了新的思路，具　有一定的应用价值。　１模型简介　１．１时间序列预测分析　时间序列传统的预测方法主要有：移动平均　法、指数平滑法、ＡＲＭＩＡ模型（非平稳求和自回归　移动平均模型）。这３种方法预测时都要先假设各　变量之间是一种线性关系，这种局限性使其在实　际应用中很难准确地进行分析和预测。因为现实　生活中大量的时间序列真实模型大都是非平稳、　非线性的［７］。基于此，神经网络的时间序列预测模　拟能比较好的解决以上缺点。因为人工神经网络　是一个非线性的动态系统，通过对样本的学习建　立起记忆，然后将未知模式判决为其最接近的记　忆。同时神经网络具有自组织、自学习能力、非线　性容错性、并行结构、并行处理信息等特点，用其　对时间序列预测，允许数据中带有较强的噪声，这　是其他方法所不能比拟的［８１。　而用神经网络预测时间序列时，样本数据对　于网络权值的影响应是不等的，与预测对象时间　上较近的样本对于网络权值的影响应较大，相应　的与预测对象时间上较远的样本对于网络权值的　影响较小，因此它能比较好的解决季节性或周期　性时间序列问题。其数学模型如下：设一时间序列　＝（　。，Ｘ　，Ｌ，Ｘ　），是以ｓ（ｓ为一个周期内时间序列　个数）为周期的季节性时间序列，模型认为未来的一　个序列　值是和历史ｄｘｓ个值之间存在某种函数　的误差来修正权值和闭值。使ｙ　与期望输出　之　间误差尽可能接近，即网络输出层的误差平方和　达到最小［８１。　图１三层神经网络结构　１．２　ＢＰ神经网络　采用ＢＰ神经网络来预测时间序列。ＢＰ算法是　用于前馈多层网络的学习算法，它含有输入层、输出　层以及处于输入输出层之间的中间层。中间层有单　层或多层，由于它们和外界没有直接的联系，故也称　为隐层，在隐层中的神经元也称隐单元。隐层虽然和　外界不连接，但是它们的状态会影响输入输出之间　的关系。也就是说，改变隐层的权系数，可以改变整　个多层神经网络的性能。　对于输入信息，要先前向传播到隐含层节点，经　过各单元的特性为Ｓｉｇｍｏｉｄ型的激活函数（又称作　用函数＼转换函数或影射函数等），其形式为：　ｕ）＝　１／［１＋ｅ　。通过运算后，把隐含层节点的输出信息传　播到输出节点，最后给出结果。网络的学习过程由正　向和反向传播两部分组成。在正向传播过程中，每一　层神经元的状态只影响下一层神经元。若输出层不　能得到期望输出，则转入反向传播过程，同时将误差　沿原来的连接通路返回，就是实际输出值与期望输　出值之间有误差，那么转入反向传播过程，将误差信　号沿原来的连接通路返回，通过修改各层神经元连　接权值，逐次的向输入层传播去进行计算，再经过正　向传播过程，这两个过程的反复运用，使得误差信号　最小。实际上误差达到人们所希望的要求时，网络的　４５　维普资讯 http://www.cqvip.com 文　沙漠与绿洲气象　Ｄｅｓｅｒｔ　ａｎｄ　Ｏａｓｉｓ　Ｍｅｔｅｏｒｏｌｏｇｙ　第２卷第３期　２００８年６月　学习过程就结束　。　１．３神经网络的改进｝６＇７】　２模型的运用——实例预测　以新疆库车县气象局１９９７－－２００６年实际观测　的平均气温数据为例，数据按顺序构成一组时间序　通过训练，神经网络对原始数据产生了“识别”　和“记忆”能力，当网络受到曾经学习过或相似的刺　激后，网络的输出端便产生相应的输出模型。神经　网络这种独具的学习、记忆和识别能力，可用来建立　列，利用时间序列分析对此时序进行检验识别，可知　此时序服从４阶自回归模型ＡＲ（４）。即：　Ａ　ｆ＝ｑ９　ＩＡ　ｆ－】＋　２Ａ　－２＋　一３＋　４，４　－４＋　（４）　预测。但普通的ＢＰ神经网络是采用固定的学习率　（叼）和固定的动量因子（　），而叼和　对算法的成败　式中　为第ｔ季的平均气温，　“，　，　．４分　别为第ｆ一１季、第ｆ一２季、第ｆ一３季、第ｆ＿４季的值。　１９９７年冬季到２００６年夏季的平均气温值作时　起着关键作用。若它们的值过小，收敛速度太慢；而　其值过大，又会使误差函数不下降，导致算法不收　敛。因此这里采用动态学习率来改进普通的ＢＰ神　经网络。　连接权值　的调整公式为：　Ａ　＝一ｒｌＯＥ／ＯＷ　（１）　这里采用动量法调整权值。神经网络参数每次　调整的幅度，均以网络误差函数Ｅ或其对权值的导　数大小的项乘以学习因子田进行。为了抑制迭代过　程的振荡，在权值修正函数的右边增加一动量项，即　将上一次权值调整量的・部分迭加到本次误差计算　所得的权值调整量上，作为本次的实际权值调整量，　这样就可以增加收敛速度。即　Ａ　（　）＝一ｒｌＯＥ／ＯＷ＋ａＡＷ（ｎ－１）　（２）　式中，ＯＺ为动量系数，通常０＜ａ＜０．９，　△　（　一１）　是增添的动量项，Ｅ＝　（ｙｋ一　）　，　为实际输出，　二　：１　为期望输出。　ＢＰ算法的有效性和收敛性在很大程度上取　决于叼值。叼的最优值与具体问题有关，没有对任　何问题都适合的叼值。即使对某一特定问题，也　很难找到一个自始至终都合适的叩值。训练开始　时较合适的叼值，后来不一定合适。因此，为解决　叼的取值问题，可采用自适应学习率。具体处理方　法为：若总误差Ｅ减小（即新误差比老误差小）则　权值更新被接受，学习速率增加，即将实际值乘以　因子ｎ（ｎ＞１，如取ｎ＝１．０５）；若总误差Ｅ增加（即新　误差比老误差大）则权值更新被取消，学习速率减　小，当新误差和老误差之比超过一定值（例如　１．４），则学习速率快速下降，即将实际值乘以因子　ｂ（０＜ｂ＜１，如取ｂ＝０．７）。　Ａ　Ｗ（ｎ）＝－ｒｌ／￣Ｅ（ｎ）＋ａＡ　ＩＶ（ｎ一１）　（３）　采用动量法调整权值和自适应学习率的神经网　络，大大提高了算法的收敛速度和稳定性。用改进后　的模型预测时间序列具有一定的优势。　间序列训练样本，用前四季的平均气温预测下一季　的平均气温，并用２００６年秋季到２００７年夏季这四　个季节的数据作检验。把１９９７年冬季到２００７年夏　季的平均气温按时问顺序排列，取　为第　季的平　均气温。即输入端为ＰＩ＝（　．，Ｘ　，Ｘ　，ｘ４），Ｐ２＝（Ｘ　，Ｘ　，　，Ｘ　），…，　＝（　，　，Ｘ　，Ｘ　，Ｘ　）。对应的输出端为　Ｔｌ＝（　），Ｔ２：（Ｘ　），…，　＝（　）。然后选定网络结构，　初始权值和阈值采用随机数，输入层单元数为４个，　输出层单元数为１个，隐含层单元数在综合考虑训　练误差与速度后确定为３个。再用动量和自适应学　习率的ＢＰ算法训练函数进行网络训练，使其达到　目标，最后确定网络结构和参数。　用Ｍａｔｌａｂ编程，通过８０００次的训练学习，结果　见表１。从表１可看出最大绝对误差为１．２℃、最小　为Ｏ￣Ｃ。平均绝对误差为０．３４％，均方差为０．２２％，误　差都比较小，其拟合图见图２。　３模型检验与气温预测　由图２可知模型的拟合效果很好，因此认为网　络模型的训练可以结束。训练好的网络模型需要通　过检验才能用于未来气温的预测，用库车县２００６年　秋季到２００７年夏季的预测值与实际值进行对比来　检验模型的预测精度（见表２）。　图２预测模型拟合图　（１９９８年前冬一２００６年夏季）　维普资讯 http://www.cqvip.com 巫红星等：时间序列动态学习率神经网络模型及其初步试验　袁１运用模型进行网络训练的结果　检验。用这个训练好的神经网络模型预测库车县　年份　季度　实际值　预测值　绝对误差　前冬　－４．９　—４．８　０．１　春季　１３．５　１３．７　０．２　１９９８　夏季　２４。２　２３．８　０．４　秋季　１１　８　１１　７　０．１　前冬　一３．４　—４．５　１．１　１９９９　春季　１４．２　１４．６　０．２　夏季　２４－４　２４．３　０．１　秋季　１１　５　１１．３　０．２　前冬　一３．４　—３．５　０．１　春季　１５．１　１５．１　０．０　２０００　夏季　２４．３　２４．５　０．１　秋季　１０．１　１０．７　０　６　前冬　一４　１　—４．０　０．１　２００１　春季　１４　７　１４．５　０．２　夏季　２４　９　２４．４　０．５　秋季　１１．９　１１　７　０．２　前冬　一４．５　—４．８　０．３　２００２　春季　１４．２　１４　６　０．４　夏季　２５．０　２４　８　０．２　秋季　１２．１　１１．４　０．７　前冬　一６．１　—４．９　１　２　２００３　春季　１３．０　１３．５　０．５　夏季　２３　７　２４．１　０．４　秋季　１１　２　１１．２　０．０　前冬　一４．４　—４　７　０．３　春季　１４　５　１３．９　０．６　２００４　夏季　２４．３　２４　２　０．１　秋季　１０．７　１１．０　０．３　前冬　一５，２　—５．４　０．２　２００５　春季　１４．３　１４．０　０．３　夏季　２３．６　２４．４　０．８　秋季　１１．３　１１．６　０．３　前冬　一６．４　—５．７　０．７　２００６　春季　１４．２　１３．５　０．７　夏季　２４．３　２４．３　０．０　表２　２００６年秋季到２００７年夏的预测值与实际值　由表２可看出预测模型虽然不够理想，但已经　相当程度的拟合了实际值的变化趋势，模型通过了　２００８年的气温，预测值见表３。　表３神经网络模型预测库车２００８年气温　年份　季节　预测值　２００７　秋季　１１　３　前冬　一６．４　２００８　春季　１４　夏季　２４．２　秋季　１２．８　４结语　时间序列动态学习率神经网络预测模型克服了　普通神经网络模型的一些缺点，并认为季节性时间　序列未来的—个序列置值是和历史ｄｘｓ个值之间存　在某种函数关系，描述为Ｘ　Ｆ（置　Ｘ　Ａ，Ｘ　）。　用三层神经网络来拟合这个周期函数　・），并预测　未来的置值。本文以库车县气象局１９９７ｍ２００６年　实测的气温数据为例，表明时间序列动态学习率神　经网络对季节性时间序列预测具有一定的适用性。　但其模型只适合于短期的预测，该神经网络模型在　气温预测中可以作为常规预报的补充，以后还需要　对其加以改进与应用。　参考文献：　［１］陈宁，金龙，袁成松．最优子集的神经网络预报建模研究　【ＪＪ．气象，１９９９，２５（１）：１４—１９．　『２］熊秋芬，王丽，郑启松等．三峡区面雨量预报方法及其试　验效果【ＪＪ．气象，２０００，２６（１１）：１９—２３．　［３］熊秋芬，胡江林，展军．神经网络方法在静止卫星多通道　资料估算降水中的应用【Ｊ１．气象，２００２，２８（９）：１７—２１．　［４］李永华，刘德，金龙等．ＢＰ神经网络模型在重庆伏旱预测　中的应用研究【Ｊ】．气象，２００３，２９（１２）：１４—１７　［５］金龙，人工神经网络技术发展及在大气科学领域的应用　【ＪＪ．气象科技，２００４，３２（６）：３８５—３９．　［６］周慧，朱彬，陈万隆．动态学习率神经网络预测气温的尝　试【ＪＪ．南京气象学院学报，２００５，２８（３）：３９８—４０３．　［７］叶明全．基于神经网络的季节性时间序列预测方法研究　［ＤＪ．合肥：合肥工业大学，２００４．　［８］张迎春，肖冬荣，赵远东．基于时间序列神经网络的气象　预测研究　武汉理工大学学报，２００３，２７（２）：２３７—２４０．　［９］高隽．人工神经网络原理及仿真实例【Ｍ］．北京：机械工业　出版社，２００３：２５—５５．　４７