北航向锦武、李道春等:基于组合神经网络的时间序列在线预测

发布时间: 2024-12-16 / 点击数:

《航空学报》亮点文章

针对混沌时间序列演化复杂,和数据非平稳特征及噪声严重影响混沌时间序列短期预测精度的问题,本文提出了一种基于前向差分、改进小波包去噪和外因输入的非线性自回归网络(FD-IWPD-NARX)的非平稳含噪混沌时间序列(Non-stationary Noisy Chaotic Time Series, NNCTS)在线组合预测方法。

研究背景

混沌(Chaos)是非线性确定动力学系统固有的内禀随机性,其离散状态下的演化可用混沌时间序列表征。航空器及大气环境中广泛存在着混沌现象,对混沌现象的高精度预测可预示复杂非线性系统动态,对航空器故障检测,提升任务规划器、控制器性能等具有重要意义。

非平稳含噪混沌时间序列(NNCTS)的高精度预测具有较大工程实践意义,受到日益广泛的关注,同时也面临挑战:与概率随机过程相反,混沌的长期演化行为没有统计规律,而短期动态可预测;大规模数据流、外界扰动等所致采样数据非平稳特性可能导致伪回归现象;噪声影响混沌模型的相空间重构,导致混沌时间序列的判定、分析和预测困难;NNCTS仅能由非线性系统产生,导致传统时间序列预测方法适应性差。

考虑到混沌的短期演化行为仍具有时序相关性,可利用深度学习方法对历史数据优异的非线性逼近性能,挖掘混沌时间序列内各变量间隐藏表达,建立短期混沌动态端到端的预测模型。因此,相应的深度学习网络应具有短期记忆能力和多变量预测能力,并在满足预测性能的同时,花费更少的计算性能代价。

研究亮点

1)提出一种改进的三段小波阈值函数和对应的改进小波包阈值去噪(IWPD)方法

小波包分析通过函数空间逐级正交剖分的扩展,可实现在低频区有更高的时间分辨率,在高频区有更高的频率分辨率,能够更完整的反应信号特征。阈值和阈值函数决定了去噪效果。改进阈值函数的核心思想为消除跳跃间断点,并迅速逼近硬阈值函数。本文基于p次对勾函数提出一种改进的三段小波阈值函数。

如图1所示,相较于基于双曲函数的模乘方阈值函数、调节因子阈值函数等,本文基于对勾函数构造的阈值函数仅引入1个可调参数p,函数连续、向硬阈值函数的收敛速度快;同阶次(p≥2)时,较模乘方阈值函数收敛性能更好。

图1 改进的三段小波阈值函数的性能

2)滚动时域框架下,提出一种FD-IWPD-NARX组合在线预测模型

将前向差分、改进的小波包阈值去噪方法融入串并行闭环NARX神经网络(图2、图3),使其具备对NNCTS的平稳化、去噪和短期预测能力。引入滚动时域框架,使FD-IWPD-NARX组合预测网络模型具备在线预测能力。模型训练的总体框架如图4所示。

图2 串并行闭环的时延网络结构图

图3 NARX神经网络结构图

4.png

图4 基于FD-IWPD-NARX神经网络的NNCTS组合预测模型流程图

3)开展基于飞行试验与地面测试的数据集构造研究

为验证方法有效性,选取海拔高度50~100m风速作为典型NNCTS对象。数据集由2022年2月~3月间多次飞行实测数据和宝坻地区气象数据拼接组成,时间序列同步重采样至步长为2min。飞行平台为自研倾转三旋翼无人机,如图5所示。

如表1,所提出的三段改进阈值函数去噪效果与硬阈值函数去噪效果相当,且优于其它三种阈值函数。进一步与硬阈值函数去噪效果对比,所提出的改进阈值函数可有效改善因硬阈值函数的跳跃间断点导致的数据突变。

图5 倾转三旋翼无人机平台

表1 五种阈值函数的去噪效果

4)开展多模型预测精度和在线性能对比研究

使用经典NARX网络、RNN网络和LSTM网络作为对比模型,对所提出滚动时域框架下的FD-IWPD-NARX组合网络进行多网络的预测性能对比分析。为控制变量且更好体现模型预测性能,对比模型均加入FD与IWPD环节。预测性能对比结果如表2。

表2 多预测模型的性能对比

①若不加入FD与IWPD环节,则RNN网络与LSTM网络的预测结果偏离无噪声数据较大,此时,RNN网络的RMSE(x100)达到383.85,LSTM模型的RMSE(x100)为353.98。其原因在于RNN网络和LSTM网络将数据噪声一同纳入建模过程,实现了包含数据噪声的较高精度预测。

②RNN网络和LSTM网络是仅输出序列的建模方法,而NARX网络考虑了额外输入。但由于NARX网络本身结构相较于RNN网络与LSTM网络更为简单,因此在训练精度上,NARX整体预测的预测精度稍显逊色。

由于滚动窗口的引入,单个窗口内的数据集规模及相应的有效信息减少,使得NARX滚动预测的误差出现波动。本文提出的NARX滚动预测的多窗口RMSE曲线如图6所示。RMSE(x100)均值为2.36,超过5的窗口占比为12.71%,超过10的窗口占比为2.82%,最小为0.19,最大为13.25。出现误差较大窗口的原因在于所有窗口采用同样超参数,部分窗口的数据平稳后方差仍较大。

NARX滚动预测的各窗耗时如图7所示。最短耗时0.11s,最长耗时出现于初始窗口,为0.21s;耗时超过0.13s的窗口数占8.73%,超过0.14s的占3.38%,具有在线应用潜力。

图6 NARX滚动预测的RMSE曲线

图7 NARX滚动预测的预测耗时曲线

研究结论

1) 提出了一种改进的三段小波阈值函数和对应的改进小波包阈值去噪(IWPD)方法,可调参数唯一,设置简单,阈值函数连续且收敛速度快,具有更好的阈值去噪效果。

2) 以风为典型混沌系统,风速序列预测结果表明,串并行闭环时延NARX神经网络可以基于结合外源数据输入的中小数据集进行训练,较好的增强预测效果,计算性能较高。

3) 在滚动时域框架下,提出了FD-IWPD-NARX组合在线预测模型,其中,FD避免伪回归现象,IWPD降低噪声影响,滚动时域框架进一步提升预测精度。

4)相比于RNN网络和LSTM网络等,所提出FD-IWPD-NARX组合预测模型对NNCTS预测结果准确,且单窗平均训练耗时0.12s,有效提升了在线预测与应用的潜力。

未来展望

本文仅验证了滚动时域框架下FD-IWPD-NARX网络的预测性能,但每个窗口采用相同的超参数,导致出现各窗预测误差差异及部分误差较大窗口。实际上,在每窗针对性优化超参数可获得更高精度预测结果。而考虑该优化过程后,训练时长会大大增加,对模型计算性能提出了更高要求。

在本文基础上,进一步研究超参数在线优化,将有助于提升模型的工程实用性。也可将模型嵌入飞行控制器,提升轨迹规划与控制的智能性与鲁棒性。

团队介绍

葛佳昊(第一作者,通信作者),北京航空航天大学航空科学与工程学院博士后,《战术导弹技术》青年编委,《Chinese Journal of Aeronautics》审稿人。主要研究方向为飞行器总体设计、飞行器轨迹规划与控制、新能源无人机低电磁干扰轨迹技术研究。发表SCI等高水平论文10余篇,申请/授权国家发明专利10余项。

向锦武,中国工程院院士,北京航空航天大学教授、校学术委员会副主任,“智能无人飞行系统先进技术”工信部重点实验室主任、国务院学位委员会航空宇航科学与技术学科评议组秘书长、中国管理科学学会会长。长期从事飞行器设计技术研究、型号研制与人才培养工作,先后获国家科技进步一等奖2项、二等奖1项,获何梁何利创新奖,授权国家发明专利70余项,发表论文200余篇。团队入选教育部“长航时无人机关键技术”创新团队等。

李道春,北京航空航天大学智能飞行器技术专业责任教授、飞行器总体设计与系统工程学科方向带头人、先进长航时无人机系统技术教育部工程研究中心主任,长江学者特聘教授。主持国家自然科学基金、科技部重点研发专项等30余项。发表SCI论文50余篇,授权国家发明专利60余项,获得省部级科技进步奖和发明奖各1项。

(来源:航空学报CJA 供稿:葛佳昊)

(审核:李建伟)

编辑:贾爱平