数据挖掘技术在中石油ERP中的应用研究
[摘 要] 中石油ERP不具备高级决策和数据分析的功能,本文对此进行了数据挖掘技术在中石油ERP中的应用研究。对数据挖掘概念和方法进行介绍,结合在中石油ERP中的应用领域等进行研究,并且引用中石油ERP数据库的销售量进行数据挖掘预测。
[关键词]数据挖掘;中石油;ERP;预测
随着信息技术的发展,企业的数据量越来越大,但其中真正有价值的信息量却很少,这里的价值主要是指对企业决策者产生的作用和为企业效益带来的价值。数据挖掘技术(Data Mining,DM)可以从企业收集的大量数据中经过深层分析,获得有利于企业运作、提高竞争力的信息。数据挖掘是一种新型的企业信息处理技术,它可以按照企业的业务目标,对大量的企业数据进行探索和分析,揭示其中隐藏的、未知的或验证已知的规律性,并进一步将其模型化,然后将分析结果用于管理决策,提高企业的竞争力。
由于ERP本身功能的缺陷,只能提供基本的数据保存和查询,缺少高层次的数据分析手段和决策能力,这就使得数据挖掘技术在ERP中有了较大的用武之地。中国加入WTO后,中石油公司面临的挑战越来越多,石油能源行业竞争也越来越激烈,使得公司必须重视数据挖掘技术,为公司发展战略的制定提供参考。
1 中石油ERP
企业资源计划(Enterprise ResourcePlanning, ERP)是建立在信息技术基础上,利用现代企业的先进管理思想,全面集成企业所有资源信息,为企业提供决策、计划、控制与经营业绩评估的全方位和系统化的管理平台。ERP涉及企业的生产控制、物流管理和财务管理等各个方面。
中国石油天然气股份有限公司经过多年的努力,公司的信息基础设施建设已经粗具规模,在勘探、开发、科研等方面,计算机装备和应用水平处于国内领先地位。公司高层早已认识到了信息技术未来的发展趋势,企业会计信息系统逐步从核算型过渡到财务管理型,适应集团公司的管理模式,具有财务分析和领导决策功能,覆盖整个财务、资产工作范围,成为ERP和电子商务系统的核心系统[1]。
但是在中石油ERP运行当中,随着ERP系统积累的数据不断增加,数据管理相对落后的问题已日益凸现。传统的数据分析方法(如查询、报表)已无法快速、
有效地从大量数据中获取所需的数据,中石油ERP系统自身也缺乏高层次的数据分析手段,只能提供较为简单的记录查询,公司管理决策者更需要从庞大的业务数据中获取隐藏的知识,这就使得数据挖掘技术在中石油ERP的数据分析中有广泛的应用空间。
2 数据挖掘
2.1 数据挖掘的概念
数据挖掘技术是面向实际应用的。但是实现数据挖掘需要高级的数据处理技术,因此,它的定义有两个方面,即技术性定义和商业性定义[2]。
技术性定义:数据挖掘指从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道但又潜在有用的信息和知识的过程。
商业性定义:数据挖掘指一种新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取辅助商业决策的关键性知识。
不论是哪种定义,从本质上来说,数据挖掘都是一类深层次的数据分析方法。
2.2数据挖掘步骤
作为一个复杂的处理过程,数据挖掘涉及多个处理步骤。Usama Fayyad等人定义了一个数据挖掘处理模型,如图1所示,这也是数据挖掘的一般处理步骤。
(1)选取目标数据集合。在数据库中选择值得关注的数据集合。
(2)数据的整理与预处理。包括一些基本的操作,比如噪声消除和空值处理。现实数据经常无法保证数据的完整性和一致性,所以在数据挖掘前需要对数据进行整理。
(3)数据合并。包括合并不同类型、不同来源的数据源。
(4)数据缩减。对数据进行降维、转化等再处理,通过投影或数据库中的其他操作减少数据量及需要考虑的变量的个数。
(5)确定数据挖掘的功能。确定由数据挖掘算法产生的模型的目的(如归纳,分类,回归,聚类,关联规则,或它们的组合)。
(6)选择数据挖掘的算法。选择要达到数据挖掘目的所需要的合理的算法,包括选取合适模型和参数。
(7)数据挖掘。利用选定的数据挖掘算法,从数据中提取出用户感兴趣的知识并进行计算。
(8)解释和评价。对发现的模式进行解释,剔除冗余、无关的知识,对发现的知识进行检验评价,将这些知识转变为用户可以理解的形式。
(9)使用发现的知识。将知识合并成可操作的系统,并基于这些知识采取相应的措施。
3 数据挖掘方法在中石油ERP中的应用
“数据挖掘包含了一系列旨在从数据集中发现有用但是尚未发现的模式(Pattern)的技术”[3]。确切地说,数据挖掘是一种知识发现的过程,它主要基于统计学、人工智能、机器学习等技术,高度自动化地分析数据,做出归纳性的推理,从中挖掘出潜在的模式,并对未来情况进行预测,以辅助决策者评估风险、做出正确的决策[4]。
数据挖掘方法在中石油ERP中的主要应用有以下方面:
3.1关联分析
中石油ERP数据库中数据之间可能存在着某种关联关系,也就是变量之间可能存在着某种规律。关联分析就是通过统计和分析数据集中各个数据项或属性出现的频率,发现数据项或属性之间的关联,最终找出不同项目之间的对应关联关系。
(1)趋势分析。在趋势分析中,基于时间序列的数据,一是分析长时间的走向,就是在很长一段时间内部的走向趋势,可以用一条趋势曲线或者趋势直线来显示;二是分析周期的走向与周期的变化。例如中石油油气销售量的变化可以通过某种方法进行预测。
(2)关联规则。用于找出给定数据集中数据项之间的关联或相关关系。例如工程技术服务中钻井施工成本与地质、天气、施工人员素质、转速等哪一项关联度最大(采用一定的方法量化指标后)。
(3)序列模式。类似于关联规则,但是序列分析的重点更侧重于数据之间前后
关系的挖掘,也就是序列模型是基于时间或期货序列(如事件)推出的经常发生的模式。例如用于公司客户购买行为模式预测。
3.2分类分析
分类分析就是从训练数据集中发现同类数据对象的共同属性,分析数据的各个属性和所属类之间的内在联系,建立类的判别模型,通过这个模型,未分类的或新的样本点就可以分派到不同的类别中。例如公司的炼化企业有大庆石化分公司、吉林石化分公司、抚顺石化分公司、辽阳石化分公司、兰州石化分公司、乌鲁木齐石化分公司、宁夏石化分公司、独山子石油化工总厂、大庆炼化分公司、吉林燃料乙醇有限责任公司、华北石化分公司等几十个,可以用分类分析将这些炼化公司按经营业绩分类,也可以按企业财务状况、利润率进行分类。方法有:
(1)人工神经网络。人工神经网络(Artificial Neural Network,ANN)是由大量的被称为神经元的节点构成的系统。一般由输入神经元、输出神经元、隐含神经元构成。
(2)支持向量机。支持向量机(Support Vector Machine,SVM)是基于统计学习理论的新一代机器学习技术。使用结构风险最小化原则代替经验风险最小化原则,使它较好解决了小样本情况下的学习问题。
(3)决策树。通过一系列规则对数据进行分类的过程。
3.3聚类分析
聚类(cluster)就是通过分析某个数据集,将数据集合按照相似性归为若干类,使得同一组中的数据彼此相似,不同类间的数据尽可能不同,从而实现归类的目的。主要有K-means算法和层次聚类。例如运用层次分析法对公司ERP数据库中的开采出的原油质量数据进行聚类分析,有助于更好地管理优质油田。
4 数据挖掘在中石油ERP中的应用实例
通过对中石油ERP系统数据库的查询,得到2005-2009年中石油营业额(见表1),利用数据挖掘进行未来3年的营业额预测。
检验结果表明模型预测精度较高,这说明单变量灰色预测在中石油销售量预测中是可行的,其分析结果对于石油销售策略的制定、市场划分、目标客户群的确定有一定的参考价值。
5 结 语
当前市场竞争越来越强,要想在市场竞争中求生存、求发展,企业只有加快信息化建设,采用先进的、科学的管理模式,以适应新的竞争形势的要求。在中石油企业管理中, ERP占有极其重要的地位,企业决策的智能化、系统化是未来企业管理发展的重要趋势。数据挖掘技术能为企业管理提供智能化的分析工具。
主要参考文献
[1]唐潇霖. 中石油的ERP困境[J]. 互联网周刊, 2002(38).
[2]李波,王谦. 物流信息系统[M]. 北京:清华大学出版社, 2008.
[3]袁林. 基于数据仓库的辅助决策系统设计与实现[J]. 电力系统自动化, 2001,25(21).
[4]张景涛.基于多智能主体的炼化企业ERP系统应用研究[D].天津:天津大学, 2004.
