第３ｏ卷第４期 ２ ０ １ ７年１ １月 青岛大学学报（自然科学版） ＪＯＵＲＮＡＬ ＯＦ ＱＩＮＧＤＡＯ ＵＮＩＶＥＲＳＩＴＹ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） ＶｏＩ．３Ｏ Ｎｏ．４ ＮＯＶ．２ ０ １ ７ 文章编号：１００６一１０３７（２０１７）０４—００９８—０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００６—１０３７．２Ｏ１７．１１．１９ 基于线性和非线性判别的工业过程建模方法 邓家磊，丁海斌，钱妍池 （中国电子科技集团第二十八研究所，南京２１００１４） 摘要：在传统的工业过程建模方法的基础上，针对变量间往往存在复杂的数据特性的问题， 提出一种线性和非线性关系的判别方法。以多元统计分析为基础，对变量之间的相关性进 行分析，有效区分了线性变量和非线性变量。在此基础上提出了相应的建模方法，提高了模 型精度。通过仿真验证，对过程进行线性和非线性判别有助于提高过程模型的精度。 关键词：过程建模；多元统计分析；线性关系；非线性关系 中图分类号：ＴＰ２７１ ．４ 文献标志码：Ａ 随着科学技术的发展，计算机网络和先进传感技术广泛应用于工业过程中。流程工业系统包含众多过 程变量以及各种复杂的物理、化学变化，采用传统的机理模型对这样的过程进行建模难度较大。基于数据驱 动的建模方法是基于过程采集数据建立的，具有不需要深入了解过程机理、算法通用性强等特点，广泛应用 于流程工业的建模及优化中ｌ】 ］。由于工业过程的数据具有非线性强、耦合度高、包含噪声及动态性等特 征，传统的线性回归模型难以建立较为准确的模型。在工业现场，越来越多的过程数据被采集，这些数据蕴 含了丰富的过程信息，因此，基于数据的工业过程建模方法尤其是多元统计分析方法得到了广泛的应用 。］。 其中，主成分分析（ＰＣＡ，Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）是一种常见的数据分析方法，是在保证数据信息损 失最少的前提下，将多个相关的变量转化为少数几个不相关的变量，从而达到对高维数据降维的目的口。］。 然而，ＰＣＡ是一种线性的方法，无法提取非线性数据的非线性特征，往往采用非线性ＰＣＡ进行分析 。传 统的数据驱动的建模方法往往事先假定过程的先验知识是可以获得的，从而可以判断工业过程是线性或是 非线性的。但这一信息在实际的生产过程中往往无法事先预知。因此，传统的建模方法无法有效针对数据 特性采用相应的建模方法，容易丢失数据信息，导致模型不准确。基于此，本文提出了一种基于线性一非线 性判别的建模方法，先对数据特性进行分析判断，再基于不同特性建立不同的模型。 １ 主成分分析（ＰＣＡ） ＰＣＡ作为一种处理多变量高耦合数据的方法，能从时间序列中获取潜在的统计信息特征。ＰＣＡ的主 要原理是将原始的数据变量用潜变量进行归纳和总结，这些潜变量代表着原始信号相关性最强，波动最大的 信息，因此能进行数据降维和特征提取。 对于原始数据ｘ，进行ＰＣＡ分析后，可以得到Ｔ＝ｘＰ，ｔ 一 Ｐ。其中，Ｔ是主成分，是原始变量的线性 组合，Ｐ是负载向量，表示主成分的权重，ｔ则是主成分的得分向量。经过ＰＣＡ分解后，原始数据被分成两个 子空间，一个是主成分代表的主元空间，另一个是残差空间（ 一Ｘ －－Ｐｔ ）。 ２基于ＰＣＡ的非线性一线性判别 本文提出了一种两步的非线性一线性衡量方法：（１）对整个过程进行衡量，判断整体呈现线性关系或者 非线性关系；（２）进一步筛选线性相关的变量和非线性相关的变量。将原始变量空间分解为线性空间非线性 空间，并分别建模。 收稿日期：２０１７－０６—２１ 通讯作者：邓家磊，男，工程师，主要研究方向为控制理论与控制工程。 第４期 邓家磊等：基于线性和非线性判别的工业过程建模方法 ９９ ２．１全局线性一非线性衡量 假设所获得的数据为ｘ，根据大数定理可知，当采样样本足够多时，ｘ可以近似服从高斯分布。对ｘ进 行标准化处理，使得ｘ均值为零，标准差为１。全局性衡量的步骤如下： （１）采用文献［８］提出的基于ＰＣＡ的方法对ｘ进行运行状态态识别，将 划分成离散的多个子集； （２）采用交叉验证方法 。 选取一个参考的运行状态，即选定一个子集作为参考子集； （３）假设初始数据被划分为ｍ个离散的子集，参考子集为ｘ，。则对ｘｒ建立ＰＣＡ模型 Ｘ，一ＴＰ ＋Ｅ ＳＰＥ—ｄｉａｇ（ＥＥ —ｄｉａｇ（ＴＳ ｒｒ） ＳＰＥ～ ～， （１） Ｆ（ｎ１， ２） 其中，ｄｉａｇ表示对矩阵取对角线的元素，ＳＰＥ和Ｔ２是两个监测统计量，用于衡量数据的变量相关性是否发 生变化。ＳＰＥ服从加权卡方分布， 服从Ｆ分布 ］，因此可以根据分布特性建立置信区间。其中，下标ｈ是 表示卡方分布的参数，而ｎ 和 则表示Ｆ分布的参数。 （４）对于其余 一１个备选子集，采用参考集的ＰＣＡ模型计算ＳＰＥ和 两个监测统计量 一Ｘ Ｐ Ｅ 一Ｘ 一ＴｏＰ ＳＰＥ 一ｄｉａｇ（Ｅ Ｅ：） ＝＝＝（２） ｄｉａｇ（ Ｓ ） 将新求的的两个统计量与步骤（３）的置信区间进行比较，若超限，则表示变量相关性发生了变化，全局呈 非线性；反之，则全局呈线性，可采用线性ＰＣＡ的方法进行建模。 ２．２非线性一线性变量隔离 在线性代数中，对于包含Ｊ个变量的数据集ｘ，若存在 ｋ Ｘ ＋…＋ｋ Ｘ 一０ （３） 其中，∑ｋ ≠０，则说明ｘ的变量线性相关。而对于工业过程，则要求所有系数ｋ均不为ｏ，才说明ｘ线性相关。 １ 因此，提出了一种迭代的变量隔离方法，对工业过程数据进行线性判断，筛选出线性变量和非线性变量， 分别建模。 （１）建立目标函数ｍｉｎＪ一１ｌ∑ｋ ＊Ｘ ｌ１，设定Ｊ的阈值，当Ｊ小于阈值时，认为寻找到的向量Ｋ一（｛志 ， ｉ一１ ｓ．ｔ ｌｌＫ【１＝１ ｋ ，…，ｋ。）满足式（３），说明ｘ是线性相关的，否则则认为线性不相关； （２）寻找参数Ｋ，使得Ｊ最小； （３）判断Ｊ是否小于阈值ｅ，如果小于阈值，则说明ｘ中含有线性部分，接下来将线性部分、非线性部分 分开，对非线性部分继续执行步骤（２），寻找其中线性部分，直到所有线性部分被区分开来。 在进行了上述两个步骤之后，原始数据集被分为两个大部分，非线性数据及线性数据。对于线性数据， 又由上述迭代过程分为若干个子集，每个子集内变量线性相关。对于非线性数据，则可以采用ＮＬＰＣＡ和 ＫＰＣＡ等非线性方法进行建模，而对于线性数据部分，则可以采用ＰＣＡ进行分析。 ２．３线性一非线性变量建模 （１）对于线性变量ｘ ，采用ＰＣＡ进行建模分析 —ＴＰ ＋Ｅ （４） 其中，Ｔ是主成分，Ｐ是负载矩阵。ＰＣＡ将数据分解为两个部分，主元Ｔ和残差Ｅ。基于此，两个统计指标可 以计算 Ｔｅ一（ｔ— ） （ｔ—ｆ） １Ｏ０ 青岛大学学报（自然科学版） 第３０卷 其中，ｔ是Ｔ的每一行，ｅ是Ｅ的每一行。对上述两个指标，可以采用核密度估计的方法对其数据的概率分布 进行计算，并选取累计概率为０．９５处的值作为控制线，代表了正常的波动范围。 （２）对于非线性变量ｘ ，采用ＫＰＣＡ进行建模，首先，采用核函数对 ，进行非线性映射，得到 ８（ ）。其次，求出 （ ）的协方差矩阵Ｋ，Ｋ＝＝＝ＥＣ，（ｘ ）， （ ）］．对Ｋ进行特征根分解得到特征向量，选 取前Ｒ个作为负载向量Ｐ。这里Ｒ的确定方法为：所选取的特征向量对应的特征之和根占总和的９５％以 １：ｏ核函数采用高斯核， 一 ｅＸｐ（一号）ｏ （３）计算式（５）中的两个统计指标，然后用核密度的估计方法求出相应的控制线。 ３仿真验证 文献Ｅ１ｏ，１１］给出一个经典非线性仿真系统，在此基础上，增加变量个数，提高变量的复杂性，并将利用 此系统验证算法的有效性。设非线性仿真系统为 『３ｚ７ １一￣ ｔ －—Ｆｅ３ｌ ＋ ｚ３一一ｔ。＋３ｔ ＋ｇ３ ｌ ４一ｔ＋２ｔ ＋Ｐ４ 【ｚ５—２ｔ。＋３ｔ －Ｆ ｇ５ 其中，ｔ为服从均匀分布的随机数据，且ｔ∈Ｅｏ．０１，２］，ｅ （ 一１，２，…，６）服从正态分布Ｎ（Ｏ，０．０１），属于独 立的扰动变量。注意，此处的线性非线性指的是变量间的相关性，而非变量本身。 对整体进行线性非线性判断，将其划分为６个区域，其中 １个参考区域，５个备选区域，结果如表１，所有备选集统计量 （ 或ＳＰＥ）均有超出控制线的部分，说明原始数据集整体上 为非线性。因此，需要进一步判断非线性变量以及线性变量。 采用第二步所述方法对变量进行判别，得到线性变量为 ５１７ ，表１全局非线性一线性判别结果 ｚ ，．２７ ，非线性变量为 。， 。这和仿真实验设计是吻合 为了验证本方法建立的模型的有效性，对其拟合和泛化 的。说明了本方法能有效筛选出线性和非线性变量。 能力进行了仿真验证。将２００个数据集分为两个部分，前 １００用于建立训练模型，后１００个用于模型测试。仿真实验的结果如图Ｉ所示，其中， 指标与控制限（虚 线）的距离反映了模型的重构数据和测量数据的统计距离，从另一方面揭示了模型的精度。 图１线性ＰＣＡ模型拟合泛化性能（虚线：控制线；点：统计量） （ａ）训练数据的模型拟合性能；（ｂ）测试数据的模拟泛化精度 第４期 邓家磊等：基于线性和非线性判别的工业过程建模方法 １０１ 图１是基于训练数据的模型拟合性能，统计指标都没有超出控制线，表明拟合良好。模型用于处理测试 数据时，统计指标均超限，说明泛化能力较差，这是因为数据整体呈非线性，单一线性ＰＣＡ无法准确表征。 采用全局非线性ＰＣＡ模型得到的模型性能如图２所示，若不加判断采用非线性模型，虽然模型泛化能 力有所提升，但却牺牲了模型拟合能力。 图２非线性ＰＣＡ模型性能（虚线：控制线；点：统计量） （ａ）模型的拟合精度；（ｂ）模型应用于测试数据的泛化精度 采用本文的方法对线性变量和非线性变量进行分别建模得到的模型性能结果如图３所示。 ０ ０ ０ ０ 图３本文方法模型性能 （ａ）本文模型的线性数据性能图；（ｂ）本文非线性数据性能图 图３的顶部图表示模型应用于训练数据的拟合精度，而底部的图表示模型用于测试数据的泛化精度。 与红色控制限的距离均较为接近，说明本模型的拟合和泛化精度都良好，进一步说明模型的可靠性。对 比图１、图２和图３的结果可以看出，本文所提出的方法对于复杂的数据（既有线性又有非线性）有很好的表 征能力，而若不加判断进行建模，则很容易导致模型精度降低，从而验证了本方法的有效性。 ４ 结论 本文提出了一种基于数据特性分析的统计建模方法，判断了数据的整体非线性，针对线性子空间和非线 性子空间分别建模，有效刻画了系统不同的数据特征，提高了模型精度。通过仿真验证了算法的有效性。 参考文献 ［１］Ｊａｃｋｓｏｎ Ｊ Ｅ．Ａ Ｕｓｅｒ’ｓ Ｇｕｉｄｅ ｔｏ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ［Ｍ］．Ｗｉｌｅｙ：Ｎｅｗ Ｙｏｒｋ，ｌ９９１． Ｅ２］约翰逊．实用多元统计分析ＥＭ］．北京：清华大学出版社，２００３． ２３］Ｊｏｌｌｉｆｆｅ Ｉ．Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ［Ｍ］．Ｎｅｗ Ｙｏｒｋ：Ｊｏｈｎ Ｗｉｌｅｙ＆Ｓｏｎｓ，２００２． Ｅ４］Ｋａｒｈｕｎｅｎ Ｊ，Ｊｏｕｔｓｅｎｓａｌｏ Ｊ．Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ ｓｅｐａｒａｔｉｏｎ ｏｆ ｓｉｇｎａｌｓ ｕｓｉｎｇ ｎｏｎｌｉｎｅａｒ ＰＣＡ ｔｙｐｅ ｌｅａｒｎｉｎｇ［Ｊ］．Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，１９９４，７ （１），１１３—１２７． Ｅ５３ Ｃｈｉｎ Ｔ Ｊ，Ｓｕｔｅｒ Ｄ．Ｉｎｃｒｅｍｅｎｔａｌ ｋｅｒｎｅｌ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００７，１６（６），１６６２— １０２ １ｂ７４． 青岛大学学报（自然科学版） 第３０卷 Ｅ６］Ｃｈｏｉ Ｓ Ｗ．Ｌｅｅ Ｃ，Ｌｅｅ Ｊ Ｍ，ｅｔ ａ１．Ｆａｕｌｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｉｄｅｎｔｉｉｆｃａｔｉｏｎ ｏｆ ｎｏｎｌｉｎｅａｒ ｐｒｏｃｅｓｓｅｓ ｂａｓｅｄ ｏｎ ｋｅｒｎｅｌ ＰＣＡ［Ｊ３．Ｃｈｅｒｎｏｍｅｔｒｉｃｓ ａｎｄ ｉｎ ｔｅｌｌｉｇｅｎｔ ｌａｂｏｒａｔｏｒｙ ｓｙｓｔｅｍｓ，２００５，７５（１）：５５—６７． ｒ７］Ｈ０ｆｆｍａｎｎ Ｈ．Ｋｅｒｎｅ１ ＰＣＡ ｆｏｒ ｎｏｖｅｌｔｙ ｄｅｔｅｃｔｉｏｎ￣Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００７，４０（３），８６３—８７４・ ｒ８］ｗｏｌｄ Ｓ．Ｃｒｏｓｓ－ｖａｌｉｄａｔ０ｒｙ ｅｓｔｉｍａｔｉ０ｎ ｏｆ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ ｉｎ ｆａｃｔｏｒ ａｎｄ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ｍｏｄｅｌｓ［Ｊ］・Ｔｅｃｈｎｏｍｅｔｒｉｃｓ １９８７。２０（４），３９７—４０６． ｒ９］Ｓｔｏｎｅ Ｍ．Ｃｒｏｓｓ－ｖａｌｉｄａｔｏｒｙ ｃｈｏｉｃｅ ａｎｄ ａｓｓｅｓｓｍｅｎｔ ｏｆ ｓｔａｔｉｓｔｉｃａｌ ｐｒｅｄｉｃｔｉｏｎ［Ｊ］．Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｔａｔｉｓｔｉｃａｌ Ｓｏｃｉｅｔｙ，Ｓｅｒｉｅｓ Ｂ（Ｍｅｔｈｏｄ。 ｌｏｇｉｃａ１）．１９７４，（３６），１１１—１３３． ＥｌＯ］Ｌｅｅ Ｊ Ｍ，Ｙｏｏ Ｃ，Ｃｈｏｉ Ｓ Ｗ，ｅｔ ａ１．Ｎｏｎｌｉｎｅａｒ ｐｒｏｃｅｓｓ ｍｏｎｉｔｏｒｉｎｇ ｕｓｉｎｇ ｋｅｒｎｅｌ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ［Ｊ］．Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ｓ ｉ ｅｎｃｅ，２００４，（５９）：２２３—２３４． ［１１］Ｄｏｎｇ Ｄ，ＭｃＡｖ。ｙ Ｔ Ｊ．Ｂａｔｃｈ ｔｒａｃｋｉｎｇ ｖｉａ ｎｏｎｌｉｎｅａｒ ｐｒｉｎｃｉｐａｌ ｃ。ｍｐ㈣ｎｔ ａｎａｌｙｓｉｓＥＪ］．ＡＩＣｈＥ Ｊｏｕｒｎａ１，１９９６，４２（８），２１９９—２２。８・ Ａ Ｌｉｎｅａｒ—ｎｏｎｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ Ｂａｓｅｄ ｏｎ Ｓｔａｔｉｓｔｉｃａｌ Ｍｏｄｅｌｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｄｕｓｔｒｉａｌ Ｐｒｏｃｅｓｓｅｓ ＤＥＮＧ Ｊｉａ—ｌｅｉ，ＤＩＮＧ Ｈａｌ—ｂｉｎ，ＱＩＡＮ Ｙａｎ—ｃｈｉ （Ｃｈｉｎａ Ｅ１ｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ Ｇｒｏｕｐ ２８ｔｈ ｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｙ，Ｎａｎｊｉｎｇ，２１００１４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｂａｓｅｄ ｏｎ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｉｎｄｕｓｔｒｉａｌ ｐｒｏｃｅｓｓ ｍｏｄｅｌｉｎｇ ｍｅｔｈｏｄｓ，ｆｏｃｕｓｉｎｇ ｏｎ ｔｈｅ ｃｏｍｐｌｅｘ ｄａｔａ ｃｈａｒ— ａｃｔｅｒｉｓｔｉｃ ｐｒｏｂｌｅｍ，ａ ｌｉｎｅａｒ ａｎｄ ｎｏｎｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ ａｌｇｏｒｉｔｈｍ ｉｓ ｐｒｏｐｏｓｅｄ．Ｔｈｉｓ ｍｅｔｈｏｄ ａｄｏｐｔｓ ｍｕｈｉｖａｒｉａｔｅ ｓｔａｔｉｓｔｉｃａ１ ａｎａｌｙｓｉｓ ｔｏ ａｎａｌｙｚｅ ｖａｒｉａｂｌｅ ｃｏｒｒｅｌａｔｉｏｎｓ，ｗｈｉｃｈ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｄｉｓｔｉｎｇｕｉｓｈ ｌｉｎｅａｒ ｖａｒ— ｉａｂ１ｅｓ ａｎｄ ｎｏｎｌｉｎｅａｒ ｖａｒｉａｂｌｅｓ。 Ｂａｓｅｄ ｏｎ ｉｔ，ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｍｏｄｅｌｉｎｇ ｓｔｒａｔｅｇｙ ｉｓ ｐｒｏｐｏｓｅｄ．Ｔｈｅ ｍｅｔｈｏｄ １Ｓ ｖｅｒｉｆｌｅｄ ｂｙ ｓｉｍｕｌａｔｉｏｎ ｅｘａｍｐｌｅ ａｎｄ ｃｏｎｃｌｕｓｉｏｎ ｃａｎ ｂｅ ｄｒａｗｎ ｔｈａｔ ｍｏｄｅｌｉｎｇ ａｃｃｕｒａｃｙ ｃａｎ ｂｅ ｉｍｐｒｏｖｅｄ・ ＫｅｙＷＯｒｄｓ：Ｄｒ０ｃｅｓｓ ｍｏｄｅｌｉｎｇ；ｍｕｌｔｉｖａｒｉａｔｅ ｓｔａｔｉｓｔｉｃａｌ ａｎａｌｙｓｉｓ；ｌｉｎｅａｒ ｒｅｌａｔｉｏｎｓｈｉｐ；ｎｏｎｌｉｎｅａｒ ｒｅｌａｔｉｏｎｓｈｉｐ
