ＥＬＥＣＴＲＯＮＩＣＳ ＷＯＲＬＤ·技术交流 基于Ａｄａｂｏｏｓｔ框架下自动编码器提升方法的文本分类 山东科技大学电气与自动化工程学院刘广秀宋单单 【摘要】针对文本分类问题，使用深度学习算法中的自动编码器模型网络建造Ａｄａｂｏｏｓｔ框架下的弱分类器，并且在自动编码器神经网络部分 引入噪声，引入神经元间歇性工作机制，更改不同参数以及层数构造弱分类器。利用神经网络的稀疏性提高分类器的泛化性，￣Ａｄａｂｏｏｓｔ 框架实现深度学习的集成算法。 【关键词】ＳＡＥ；Ａｄａｂｏｏｓｔ；文本分类；激励函数 ０引夸 大数据时代的到来，网络的普及，信息量呈爆炸性趋势增长，人 们迫切需要一种实用性技术来有效的地组织和管理信息。从大量的信息 中获取有效信息变得尤为重要。文本挖掘、自然语言处理、信息检索等 技术很好地解决了信息过载时代的文本数据管理问题，文本分类技术 作为这些领域的重要基础，在近年来得到了快速发展和广泛关注【１］。文 本分类的方法有很多，典型的有朴素贝叶斯分类器 、ＢＰ神经网络分类 器、 丘邻算法（ＫＮＮ）、支持向量机（ＳＶＭ）分类器等，这些分类 器在文本分类中均取得了很好的效果。并且在传统分类器的使用上， 有很多学者提出了改进方案，使得分类效果有所提升。比如基于深 度信念网络的文本分类器算法［１。］，基于稀疏编码器的文本分类算法【７］ 等。深度学习作为一种新兴的多层神经网络降维算法，通过组建含有 多个隐层的神经网络深层模型，对输入的高维数据逐层提取特征，以 发现数据的低维嵌套结构，形成更加抽象有效的高层表示【８】。传统ＢＰ 神经网络梯度越来越稀疏，易于收敛于局部最优，有标签的训练数据 类别涵盖不全，且类别比例差别较大，使用深度学习网络很易产生过 拟合问题。根据己有的深度学与ｂｏｏｓｔｉｎｇ结合案例，本文提出ＡｄａｂＯＯＳｔ 与编码器深度学习算法相结合算法。结合深度学习网络提取特征良好 的特点，本文提出使用深度学习网络中的ＳＡＥ网络作为Ａｄａｂｏｏｓｔ￣架下 的弱分类器，使用不同激励函数等参数变换构造不同的自动编码器网 络，加入Ａｄａｂｏｏｓｃ框架的思想实现深度学习集成算法。 １ Ａｄａｂｏｏｓｔ算法 Ｂｏｏｓｔｉｎｇ算法是一种把若干个分类器整合为一个分类器的方法， 能够将预测精度仅比随机猜度略高的弱学习器增强为预测精度高的强 学习器，这在直接构造强学习器非常困难的情况下，为学习算法的设计 提供了一种有效的新思路和新方法．作为一种元算法框架，Ｂｏｏｓｔｉｎｇ几 乎可以应用于所有目前流行的机器学习算法以进一步加强原算法的预 测精度，因此应用十分广泛，产生了极大的影响。Ｂｏｏｓｔｉｎｇ方法有许多 不同的变形，更具一般性的ＡｄａＢｏｏｓｔ形式由ＲＯＢＥＲＴ Ｅ．ＳＣＨＡＰＩＲＥ和 ＹＯＲＡＭ ＳＩＮＧＥＲ在１９９９年提出，其核心思想是针对同一个训练集训 练不同的分类器，然后把这些弱分类器集合起来，构成一个更强的最 终分类器【５】。Ａｄａｂｏｏｓｔ的算法流程如下： 第１步：给定一组具有标签的训练数据集： ｒ一 ，Ｙ１），…，（Ｉ ．，ｖ）】 其中：ｘ。ｅ ， ｅｒ＝ ，一 。 第２步：初始化训练数据的权值分布。每一个训练样本最开始 时都被赋予相同的权值：１／Ｎ。 Ｄｌ＝（ｗｌｌ１ ｗ１２，… ，…，ｗ ）， ＝ １，ｆ＝ｌ五…，Ⅳ 第３步：使用弱学习算法，迭代ｍ＝ｌ，２，３…Ｍ次。 ａ．使用具有权值分布的全训练集，进行基本元分类器 训练得到 ，或按照权重ｗ１对训练集进行采样后对元分类器 训练得到分类器 。 ｂ．计算 在训练数据集上的分类误差率公式： Ⅳ ＝Ｐ（ （Ｉ ）≠ ）＝∑ ＾ｔ（ｘ ）≠ ） 即Ｃ朋在训练集上的误差率就是被ｃ删分类错误的样本的权值之和。 Ｃ．计算弱分类器ｃ 的权值系数公式： ： ｈＩ ｜ｌ－ ｄ．更新训练数据集的权值公式： Ｄ枷＝ ÷ Ｉ＇ ｝ …Ⅵ｜－哪，…，ｗ ） ｗｌ“＝—＝型ｃｘｐ（一噶 ＾。（Ｉ１）），ｆ＝１，２，…，Ｎ ｚ曩 是规范化因子，使得 １为一个概率分布： ｚ ＝∑ｗ，，ｅｒ．ｐ（－ａ．ｒｌ＾．（工１）） 第４步：组合各弱分类器得到最终分类器表达式： ｊｆ 日（Ｉ）＝。 ∑ ． （Ｉ）】 上述式子组成了Ａｄａｂｏｏｓｔ算法的基本步骤。Ａｄａｂｏｏｓｔ算法的自 适应性在于：前一个基本分类器分错的样本会得到加强，加权后的 全体样本再次被用来训练下一个基本分类器。 ２降嗓稀疏自动编码器 基本自动编码器的描述如下：自动编码器是运用了反向传播 进行无监督学习的神经网络，学习的目的就是输出信号尽可能复现 输入信号。为了实现这种复现，自动编码器就必须捕捉可以代表输 入数据的最重要的特征，就像主成分分析那样，找到可以代表原 信息的主要成分［４］。基本的自动编码器接收输入向量ｘ，在激活函 数的作用下对其进行线性变化，得到一个编码结果ｙ【３】。本文选取 ｓｉｇｍｏｉｄ函数作为激活函数，计算公式如下： ｙ＝ （Ｉ）＝ｓ（Ｗｘ）＋ｂ，ｚ＝ｇｓ ）＝ｓｏｙ ＋ｈ’。 ｏ＝｛矿，ｈ）为编码参数，０ ＝ ，ｈｒ｝为解码参数。其中矿是一个 ，×ｄ的权重矩阵。旷，为 的转置矩阵，ｂ和ｂ ｒ是偏置向量。 稀疏自动编码器是加上一些约束条件得到的新的Ｄｅｅｐ Ｌｅａｒｎｉｎｇ 方法。在ＡｕｔｏＥｎｃｏｄｅｒ的基础上加上Ｌｌ的Ｒｅｇｕｌａｒｉｔｙｇ［￣￥０（Ｌ１主要是 约束每一层中的节点中大部分都要为０，只有少数不为０），我们就 可以得￣ｌＪＳｐａｒｓｅ ＡｕｔｏＥｎｃｏｄｅｒ法［２】。 ＳＡＥ损失函数表达式：￡札 ）； 一 ＋＾ 降噪自动编码器是在自动编码器的基础上，在训练数据中加入 噪声，所以自动编码器必须学习去除这种噪声而获得真正的没有被 噪声污染过的输入［７］。因此，这就迫使编码器去学习输入信号更加 鲁棒性的表达，这也就促使了它的泛化能力比一般编码器强。ＤＡ 可以通过梯度下降算法去训练。 ３基于Ａｄａｂｏｏｓｔ算法和降嗓稀疏自动编码器的文本分类模型 本文以ＤｓＡＥ（降噪稀疏自动编码器）为弱分类器基本原型嘲，调整 层数以及激励函数种类构造不同条件下的弱分类器，使用ＮＩ脓分词系统 提取文本特征，使用ＴＲＤＦ作为词语的权值，根据该权值来选择特征词， 并ｌ 词 唯 崦籀一壁 燕继 图臭咽 所 ………． ＾ 螺啪瞳５ 矗＿哺雌ｌ ｌ 输入文本特征 ｉ －ｑ＾忙－自Ｉ嚏３＾Ｅ曩矗＿·２ ｌ—＿． Ｉｔ法迭 体输出损人伤 样本敬据预处理卜 －－４＾悱－由 童 ＾Ｅ—矗—·， 代运葺 程度强 ’ 测嚣 ： — ＾幛－ｅ埔嚏＾＾｜－删·ｋ ｌ－—· 图１基于Ａｄａｂｏｏｓｔ算法和ＳＡＥ网络的人体损伤程度预测流程 （下转第１９７页） 电－］－ｔｍｌｌｌ·１９５·
