维普资讯 http://www.cqvip.com 第２９卷第２期 ２００８年４月 河南科技大学学报：自然科学版 Ｊｏｕｒｎａｌ ｏｆ Ｈｅｎａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ：Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｖ０】．２９ Ｎｏ．２ Ａｐｒ． ２００８ 文章编号：１６７２—６８７１（２００８）０２—００５５—０３ 基于特征和隐马尔可夫模型的文本信息抽取 常军林 ，吴笑伟 ，吴芬芬 ，刘磊 （１．河南交通职业技术学院，河南郑州４５０００５；２．吉林大学计算机科学与技术学院，吉林长春１３００１２） 摘要：基于文本分块提出一种新的文本信息抽取技术，该技术利用文本的语义特征和结构特征，抽取具有特征 的状态，以此结果为基础，进一步运用改进的隐马尔可夫模型，抽取剩余的无特征状态。对美国ＣＭＵ大学 ＣＯＲＡ搜索引擎研制组提供的数据集中的１００篇进行测试，结果显示精确度和召回率比基于单词和传统隐马 尔可夫模型的方法都有所提高，并进一步提高了效率。 关键词：文本分块；特征提取；隐马尔可夫模型 中图分类号：ＴＰ３９ｌ 文献标识码：Ａ ０ 前言 目前的电子资源含有大量的有用信息，但是欠结构化，不能为传统的数据库型查询系统所利用。针 对这一问题，出现了信息抽取技术。信息抽取（Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ）是指从文本中自动抽取相关的或 特定类型的信息。信息抽取包括规则法、统计法以及规则和统计相结合的方法等。 隐马尔可夫模型是一个强有力的随机过程，容易建立，适应性强，因此被研究者应用到了语音识 别…、词性标注、信息抽取 Ｉ４ 等不同的领域。作者采用特征抽取和ＨＭＭｓ相结合的方法，对ＨＭＭｓ 进行了改进，为文本信息抽取提供了一种精确度和召回率更高的抽取方法。 １ 相关技术和工作 １．１ 文本分块和特征提取 ｌ‘ 在一篇论文中，引言前的部分称其为论文头部，包括标题、作 者、机构、地址、日期、网址等ｌ５个部分，每一部分称为一个状态。 本文对论文头部进行了研究，提出一种对文本进行分块的技术，并 且基于提高效率的要求，在“ａｂｓｔｒａｃｔ”出现之前，对文本进行比较细 致的分块，根据文本的结构，以“，…‘；”换行或三个以上的空格作 为分隔符进行分块，而在“ａｂｓｔｒａｃｔ”出现之后，只以换行作为分隔符。 叫 ｌｙ 以自动机的形式来表示文本的分块过程，如图１所示： ∑。＝｛英语单词｝ ＝，图１ 自动机文本分块图 ｛，，，？ （，），｛，｝，［，］，Ｉ， ，＆，ｓｐａｃｅ，｝ ∑，＝｛Ｔｓｐａｃｅ’；’ｃ。ｍｍａ｝，∑ ＝｛ａｂｓｔｒａｃｔｌ，∑ ：∑。一∑ ，∑ ＝ ，Ｅｌ，Ｓ。，Ｓ ，Ｓ，，Ｓ 为 转移状态 ｓｐａｃｅ表示空格；Ｔｓｐａｃｅ表示三个以上的连续空格；Ｅ表示文件结束；＼ｎ表示换行 Ｗ∈∑。， ∈∑ ，Ｙ∈∑，，ｚ∈∑ ，“∈∑ ， ∈∑ 通过分析科学论文头部，很多块中有明显的特征词，足以说明这个块的状态。因此，在分块的同时 结合块中含有的语义特征和结构特征，并针对特殊块采用回退技术和前进技术确定其状态。特征提取 基金项目：吉林省科技发展计划项目（２００５０５２７） 作者简介：常军林（１９７３一），男，河南林州人，讲师 收稿日期：２００７—０４—１０ 维普资讯 http://www.cqvip.com
・５６・ 河南科技大学学报：自然科学版 的规则表示如下： ①状态集合ｓ： Ｓ＝｛ｔｉｔｌｅ，ａｕｔｈｏｒ，ａｆｆｉｌｉａｔｉｏｎ，ａｄｄｒｅｓｓ，ａｂｓｔｒａｃｔ，ｎｏｔｅ，ｋｅｙｗｏｒｄ，ｐｕｂｎｕｍ，ｄｅｇｒｅｅ，ｅｍａｉｌ，ｄａｔｅ，ｐｈｏｎｅ， ｗｅｂ，ｉｎｔｒｏ，ｐａｇｅ｝ ②结构特征集合ｓｃ： 一＞Ａ ｌ Ｂ ｌ Ｃ ｌ…ｌｚ 一＞ｎ ｌｂ ｌｃ ｌ…Ｉ： ｙｅａｒ２＝｛９０…０４｝，ｙ一＞０ ｌ １ ｌ２ ｌ…ｌ９ ｍｏｎｔｈ２＝｛１…１２｝ ｍｏｎｔｈ１＝｛Ｊａｎｕａｒｙ…Ｄｅｃｅｍｂｅｒ，Ｊａｎ…．Ｄｅｃ．｝， ｙｅａｒｌ：｛１９９０…２００４｝， ｄａｙ＝｛１…３１｝ ｍｌ∈ｍｏｎｔｈｌ，ｍ２∈ｍｏｎｔｈ２，ｙｌ∈ｙｅａｒｌ，ｙ２ Ｅ ｙｅａｒ２，ｄ∈ｄａｙ ＡＣ＝｛ ． （ ｌ ） ｌ（ ｌ ） ＠（ ．１） ｌＰｙ ｌ ｍ１ ｄ， １ ｌ（ｍ１ ｌ ｍ１， １）ｌ ｍ２／ｄｌ ｙ２ ｌ １一ｍ２一ｄ…｝ ③语义特征集合ＴＣ： ＴＣ＝｛Ｉｎｔｒｏｄｕｃｔｉｏｎ，ｈｔｔｐ，ｆｌｐ，Ｕｎｉｖｅｒｓｉｔｙ，Ｃｅｎｔｅｒ，Ｃｏｌｌｅｇｅ，Ｌａｂ（Ｓ），Ｌａｂｏｒａｔｏｒｙ（ｉｅｓ），ＰＡＧＥ， ｋｅｙｗｏｒｄｓ，ｋｅｙ ｗｏｒｄｓ，ａｂｓｔｒａｃｔ，ｆｏｒ ｔｈｅ ｄｅｇｒｅｅ ｏｆ，…｝ ④各状态对应的特征提取规则Ｒ： Ｒ。 。 ＝ ． （ ｌ ）‘， Ｒ。 ｊ。：（ ｌ ） ＠（ １．） Ｒ 。＝｛ｍｌｄ，ｙｌ ｌ（ｍ１ ｌ ｍ１，） １ ｌ ｍ２／ｄ／ｙ２ ｌ＿ｍ２一ｄ…｝ Ｒｋ。 。ｆｄ＝｛ｋｅｙｗｏｒｄｓ，ｋｅｙ ｗｏｒｄｓ，…｝Ｒ ｂ 。＝｛ａｂｓｔｒａｃｔ｝… ⑤回退技术：根据规则块ｂ的状态为ｅｍａｉｌ时，若前一块的格式为：“（ ｌ ｐ）”’，则其状态也为ｅｍａｉｌ； ⑥前进技术：根据规则块ｂ的状态为ｗｅｂ时，若后一块的格式为：“～（ ｌ ｐ）”’，则其状态也为ｗｅｂ。 到此，在对文本进行分块的同时依据上面的语义特征和结构特征，运用回退技术和前进技术对文本 进行了第一遍过滤，得出了部分块的状态。 １．２隐马尔可夫模型及改进 建立模型：从训练文本集中统计出来各个状态对应词表ｍ 的大小（１≤ｉ≤Ｎ，Ｎ是状态的个数，Ⅳ ：１５）和总词表ｍ（ｍ＝ｍ．＋ｍ ＋…＋ｍ ）的大小；并在文本分块的基础上，统计出来各个状态到其他 Ⅳ个状态的转移个数，以及作为初始状态的个数。依据上面的统计数据，根据下列公式计算隐马尔可夫 模型Ａ：（Ａ，Ｂ，盯）的参数值。 初始状态概率分布：叮丁＝｛叮丁。，叮丁２，叮丁 ・・叮丁 ｝ Ｎ” 盯： 训练文本中初始状态的总个数 ＾ ＝ ｖ’刍” 状态转移概率矩阵：Ａ＝ｎ ， 。 ＝ 训练文本中状态 转移到所有状态的总次数’；萋 ｛ ｌｉ蔫 ； 萋 ， ｎ ≥０， 刍 ‘Ｎ ｎ ：・ ’。，（ ）≥’ ，从状态 观察到单词ｋ的概率分布矩阵 ｂｊ（凫）： ＿！ 二 — ｜＿ ）：——— 丽 —一６ （凫）≥０， Ｎ ｂｊ（凫）：１）： 若块ｂ中含有ｎ个单词ｋ ，ｋ ，…，ｋ ，则状态 观察到块ｂ的概率等于这ｎ个单词观察概率的和 ｂ，（ｋ ）。 １．３特征提取和隐马尔可夫模型的结合 ． 在特征提取的结果上进一步运用隐马尔可夫模型进行剩余状态的抽取，特征提取中状态确定的块， 在隐马尔可夫模型中作为已知的状态使用，其ｂ （ ）设定为１，这样既减少了计算ｂ （ｋ）的时间又减少了 因为数据稀疏问题带来的负面影响，同时由于部分状态已确定，在运用Ｖｉｔｅｒｂｉ算法时减少了循环的次 数，大大减少了运行时间，提高了效率。 １．４数据稀疏问题的解决 维普资讯 http://www.cqvip.com 第２期 常军林等：基于特征和隐马尔可夫模型的文本信息抽取 ・５７・ 语料库概率统计方法或语料库规模较小导致数据稀疏问题，传统数据稀疏问题的解决方法是使用 Ｌａｍｐｌａｃｅ平滑技术或Ｌｉｓｔｏｎｅ平滑技术。 Ｌａｍｐｌａｃｅ平滑技术中，样本中未出现的符号的概率＝１／（ｍ ｍ）。 从公式中可以看到，分子和状态词表的大小无关，状态词表规模小，对应的数据稀疏概率就大，这样 算出的结果不符合本文中信息抽取的实际情况，例如：假设单词ｗｏｒｋ的概率要用平滑技术解决，则其以 ａｂｓｔｒａｃｔ状态出现的概率比以ｗｅｂ状态出现的概率小（因为ａｂｓｔｒａｃｔ对应的词表比ｗｅｂ对应的词表规模 大），而实际上，ｗｏｒｋ不可能以ｗｅｂ状态出现而很可能以ａｂｓｔｒａｃｔ状态出现。于是，我们在Ｌａｍｐｌａｃｅ平滑 技术的基础上进行了改进： 样本中出现的符号的概率＝ｂ （ｋ）一１／（ｍ ＋ｍ）；ｒｒｔｙ为状态＿『对应词表的大小，ｍ为总词表的大小； 样本中未出现的符号的概率＝ｍ ／ｍ：ｌ：１／（ｍｊ＋ｍ）。 初步的测试证明，改进的平滑技术比Ｌａｍｐｌａｃｅ平滑技术更适合文本信息抽取。 ２实验结果分析 依据上面所论述的方法，本文对美国ＣＭＵ大学ＣＯＲＡ搜索引擎研制组提供的数据集 进行了测 试，该数据集提供了９３５篇用ＨＴＭＬ语言标记好的计算机科学论文头部，以其中的８３５篇作为训练数 据，剩余的１００篇作为测试数据，并以状态精确度、状态召回率和总正确率作为评测标准。 状态精确度＝笙曩善 霉 謦 娄蓑 状态召回率＝ 瑟 总正确率＝ 襞 表１ 基于词和传统隐马尔可夫模型结果 表２基于分块和新隐马尔可夫模型结果 测试的结果如表２所示。表１是基于词运用传统隐马尔可夫模型所得的结果，其中以４００篇作为 训练数据，１００篇作为测试数据。分析表中的数据，表２中的召回率和精确度较之表１都有很大提高。 由于ｔｉｔｌｅ状态没有明显的特征词，所以用此方法召回率并没有达到理想的值，但较之表１还是有很大的 提高；ｎｏｔｅ状态召回率不高的原因是因为在该标记为ｎｏｔｅ状态的块中，可能含有ａｆｉｆｌｉａｔｉｏｎ状态的特征 词或ｄａｔｅ状态的特征词，以至于在第一次进行文本过滤的时候已经标记为ａｆｆｉｌｉａｔｉｏｎ状态或ｄａｔｅ状态， 再运用隐马尔可夫模型进行识别，这些状态的值没有改变，因此在下步的工作中会更加严谨的划分状态 和制定特征抽取的规则。 （下转第７Ｏ页） 维普资讯 http://www.cqvip.com
・７０・ 河南科技大学学报：自然科学版 ２００８拄 （３）随着垂跨比的增大，结构的变形明显减小，撑杆轴力逐步增大，跨中下弦杆轴力经历了由拉力 转变为压力的变化过程，其他构件随着垂跨比的增加内力持续减小。由于拉索和撑杆的用钢量占总用 钢量的比例小，所以增大垂跨比将有利于降低结构的用钢量。鉴于建筑效果、结构稳定性和使用功能方 面的考虑，建议结构的垂跨比取０．１，大于０．１时结构的位移和构件内力减小幅度变缓，且此时结构的 跨中挠度和支座的水平位移都在较小范围内； （４）随桁架截面高度的增大，结构变形呈线性减小，且不利的支座下弦杆和索的内力均减小，从而 达到提高结构刚度，改善结构受力性能的效果。但考虑到桁架腹杆的用钢量在总用钢量中占不少比例， 如果桁架截面高度太大，势必会使桁架腹杆的用钢量剧增，导致结构的不经济。所以本文认为桁架截面 高度与跨度之比在０．０２３左右比较合适。 参考文献： ［１］ 刘永周．张弦立体桁架结构力学性能分析［Ｄ］．兰州：兰州理工大学，２００４． ［２］ 白正先，刘锡良，李义生．单榀张弦梁结构各因数的影响分析［Ｊ］．钢结构，２００１，１６（３）：４２—４６． ［３］ 陈荣毅，董石麟．大跨度张弦钢桁架的预应力施工［Ｊ］．空间结构，２００３，９（２）：６ｌ一６３． ［４］ 陈汉翔，舒宣武．预应力值对张弦梁结构受力性能的影响分析［Ｊ］．华南理工大学学报：自然科学版，２００３，３１（５） ７９—８４． ［５］ 黄明鑫等．大型张弦梁结构的设计与施工［Ｍ］．济南：山东科学技术出版社，２００５． ［６］ 赵宪波，叶继红．张弦梁（桁架）结构荷载态受力性能分析［Ｊ］．空间结构，２００５，１１（２）：９—１８． （上接第５７页） 对于相同的测试集，文献［６］中测试结果的总正确率为９２．９％，本文中结果的总正确率为９４．７９％， 较之有一定的提高。 ３ 结束语 针对英文科学论文头部进行了信息抽取，旨在建立一个通用的系统，用户可以设定信息抽取的领域 和文本源，同时制定特征提取规则或者其他方面提取规则，并进一步自动获取隐马尔可夫模型参数，从 而对不同领域进行信息抽取。 参考文献： ［１］ 孙斌．信息提取技术概述（下）［Ｊ］．术语标准化与信息技术，２００３（１）：３４—３７． ［２］ Ｓｒｉｈａｒｉ Ｒ．Ａ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ Ｓｙｓｔｅｍ Ｓｕｐｐｏｒｔｅｄ ｂｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ［ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＮＬＰ ２０００．Ｓｅａｔｔｌｅ， ２０００． ［３］ Ｆｒｅｉｔａｇ Ｄ，ＭｃＣａｌｌｕｍ Ａ．Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ ｗｉｔｈ ＨＭＭｓ ａｎｄ Ｓｈｒｉｎｋａｇｅ［ｃ］／／Ｗｏｒｋｉｎｇ Ｎｏｔｅｓ ｏｆ ｔｈｅ ＡＡＡＩ一９９ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ Ｏｒｌａｎｄｏ，ＦＬ，１９９９，ＡＡＡＩ Ｐｒｅｓｓ． ［４］ＭｃＣａｌｌｕｍ Ａ，Ｆｒｅｉｔａｇ Ｄ．Ｍａｘｉｍｕｍ Ｅｎｔｒｏｐｙ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ ｏｆｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｅｖｅｎｔｅｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ．Ｓｔａｎｆｏｒｄ，ＣＡ，Ｍｏｒｇａｎ Ｋａｕｆｍａｎｎ，２０００：５９１—５９８． ［５］ Ｓｅｙｍｏｒｅ Ｋ，ＭｃＣａｌｌｕｍ Ａ，Ｒｏｓｅｎｆｅｌｄ Ｒ．Ｌｅａｒｎｉｎｇ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ［ｃ］／／Ｗｏｒｋｉｎｇ Ｎｏｔｅｓ ｏｆ ｔｈｅ ＡＡＡＩＷｏｒｋｓｈｏｐ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ．ＡＡＡＩ Ｐｒｅｓｓ．１９９９：３７—４２． ［６］ Ｒｏｈｉｎｉ Ｋ，Ｓｒｉｈａｆｉ．ＩｎｆｏＸｔｒａｅｔ：Ａ Ｃｕｓｔｏｍｉｚａｂｌｅ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｌｅｖｅｌ Ｉｆｎｏｒｍａｔｉｏｎ Ｅｘｔｒａｃｔｉｏｎ Ｅｎｇｉｎｅ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＨＬＴ／ ＮＡＡＣＬ ２００３ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅ ｏｆ Ｌａｎｇｕａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ｓｙｓｔｅｍｓ（ＳＥＡＬＴＳ），２００３：５２ —５９．
