第１３卷第１朗 ２Ｏｌ４年１月 软件导刊 Ｓｏｆｔｗａｒｅ Ｇｕｉｄｅ Ｖｏ１．１３ＮＯ．１ Ｊａｎ．２Ｏ１４ 基于Ｗｅｂ数据挖掘的研究与应用 苏 燕，梁 武 （北海职业学院，广西北海５３６００Ｏ） 摘 要：随着Ｉｎｔｅｒｎｅｔ的迅速发展及Ｗｅｂ的＆－Ｊｇ普及，数据挖掘技术已经在各个领域、各个行业展现了它的巨大作 用。通过分析Ｗｅｂ及数据挖掘的特点，列举出数据挖掘在Ｗｅｂ基础上的具体应用。 关键词：Ｗｅｂ应用；数据挖掘技术；关联分析 中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１６７２—７８００（２０１４）００１—０１３１—０２ 跨学科领域，源于诸如数据库系统、数据仓库、统计、机器学 ０ 引言 ＷＷＷ提供了便捷的文档发布与获取机制，并逐步成 习、数据可视化、信息提取和高性能计算。其它有贡献的领 域包括神经网络、模式识别、空间数据分析、图像数据库、信 号处理和一些应用领域，包括商务、经济和生物信息学。 为各类信息资源的聚集地。据Ｇｏｏｇｌｅ于２００８年发布的 官方报告，他们已经在互联网上发现超过１万亿个Ｗｅｂ 文档，而且这个数字还在以每天几十亿的速度持续增长。 ３ Ｗｅｂ数据挖掘分类 ｗｅｂ数据挖掘应用分为４类，如图１所示 面对如此巨大的信息量，普通Ｗｅｂ用户往往迷失其中，他 们迫切需要一种机制快速定位到所需信息。ｗｅｂ数据挖 掘应运而生，并且伴随ｗｅｂ的发展而备受关注。ｗｅｂ数 据挖掘建立在信息检索、数据挖掘以及知识管理等技术的 基础上，通过对大量ｗｅｂ文档进行分析来获得隐含的知 堕 阖 堕 臀图１数据挖掘应用分类 识和模式，从而帮助人们更好地进行信息搜索和决策制 定。反过来，也正是Ｗｅｂ挖掘技术的不断进展，推动了 ｗｅｂ的进一步蓬勃发展。 ３．１ Ｗｅｂ内容挖掘 厂— Ｗｅｂ内容挖掘是指从网页上获取有用的数据信息， １ Ｗｅｂ数据库特点 Ｗｅｂ数据挖掘是建立在对大量的网络数据进行分析 包括文字、图片、视频等各种各样的数据。ｗｅｂ的内容挖 掘是指站在用户的角度，替用户考虑，并在众多混杂的数 据信息中过滤，并找出适合用户所需要的高质量信息。 ３．２ Ｗｅｂ结构挖掘 的基础上，采用相应的数据挖掘算法，在具体的应用模型 上进行数据的提取、数据筛选、数据转换、数据挖掘和模式 分析，最后作出归纳性的推理，预测客户的个性化行为以 Ｗｅｂ结构挖掘是指数据库之间都会存在这样或那样 的联系，结构挖掘能分析数据库之间的关系，发现它们之 间潜在的内在联系和规律。 ３．３ Ｗｅｂ使用记录挖掘 及用户习惯，从而帮助进行决策和管理，减少决策风险。 Ｗｅｂ数据挖掘涉及多个领域，除数据挖掘外，还涉及计算 机网络、数据库与数据仓储、人工智嚣 信息检索、可视化、 自然语言理解等技术。 Ｗｅｂ使用记录挖掘对企业来说非常重要，它能从 Ｗｅｂ中自动分析出用户喜欢浏览的内容及页面，可 为企 业今后的开发和设计提供非常重要的依据，并根据用户的 习惯和兴趣重点挖掘，提高企业竞争力。 ３．４ Ｗｅｂ用户性质挖掘 ２数据挖掘特点 数据挖掘是从大量数据中发现有趣模式，这些数据可 以存放在数据库、数据仓库或其它信息存储中。这是一个 Ｗｅｂ．甩户性质挖掘通过对Ｗｅｂ用户自建的信息聚 合、网络日志、论坛等功能模块，统计分析用户信息。 作者简介：苏燕（１９８０－－），女，北海职业学院讲师，研究方向为高职计算机教学与研究；梁武（１９７８－－），男，硕士，北海职业学院讲师，研 究方向为高职计算机教学与研究。 ・１３２・ 软件导刊 ２０１４拄 ４数据挖掘工作流程 堡塑竺里母一数据定义｛ ｌ挖掘向导Ｈ．． 模式筛选 ——ＬＩ一 数据挖掘工作流程如图２所示。 墼挚 ｝ｌＩ 遴甓｛蘸ｊ焦塑蔓堡Ｉ ｉ 图２数据挖掘流程 星塑墼 一 ｌｌ莆 器聂臻ｊ可靠的数据Ｊ 童雯蔓皇 二 （１）定义问题。先确定数据挖掘的主要目标、评价情 图３数据挖掘模型 况、带来的意义及效果。 （２）形成数据挖掘库。形成数据挖掘库是数据挖掘 ５基于Ｗｅｂ的数据挖掘应用 的重要基础，通过外部数据搜集相关资料，分析形成数据 库表的内容，生成“数据表述报告”，包括所有的数据字段 ５．１数据挖掘在高校教学中的应用 信息。整合数据库，把来自不同数据源的数据并到同一 在ｗｅｂ中利用数据挖掘技术分析学生的具体情况， 个数据库中，让冲突的以及不一致的数据统一化。数据 掌握学生的学习特点，系统地指导教学，使学生在学习中 挖掘库建立好后，就要对它进行维护，需要定期备份，监 提高效率，在较短的时间内取得更有效的学习成果；教师 视它的性能，不断增加存储空间或提高它的性能。对存 帮助学生端正学习态度，提高学习能力，树立正确的学习 放在数据中的复杂挖掘库来说，维护需要计算机专业人 品德，因材施教。利用数据挖掘的关联规则和偏差分析等 员来完成 功能，在教学数据库中挖掘有价值的数据，进而分析学生 （３）清理分析数据挖掘库。错误数据是普遍存在的， 的日常行为，找出它们的内在联系。 在大型数据库中维护数据的正确性和一致性成为一个极 ５．２数据挖掘在电子商务中的应用 其困难的任务。因此，要对数据及各个字段进行处理，减 当今网络社会为人类带来了巨大的变化。电子商务 少所用数据机械错误的存在，做好模型和整个数据挖掘工 已经成为网络时代的代表性名词，在电子商务中应用 作。 Ｗｅｂ挖掘技术，可以为企业在最短的时间和空间内确定 （４）探索分析数据挖掘库。这主要为了后面的数据建 目标，寻求最有效的途径，获取最大的利益。 模做准备。主要包括选择变量、选择记录、创建新变量、转 参考文献： 换变量、探索分析。 （５）建立数据挖掘模型。模型的建立是实施的重要基 ［１］薛薇．Ｃｌｅｍｅｎｔｉｎｅ数据挖掘方法及应用［Ｍ］．北京：电子工业出版 社，２Ｏ１０． 础，为了保证建起的模型具有精确性和稳定性，需要从宏 ［２］卢辉．数据挖掘与数据化运营实战［Ｍ３．北京：机械工业出版社， 观考虑模型的资料采集，让模型更好地服务后面的工作。 ２Ｏｌ３． 如图３所示。 ［３］赵旭俊．数据挖掘方法及天体光谱挖掘技术［Ｍ３．北京：电子工业 （６）模型实施。模型建立并经验证后，就可以实施了。 出版社，２０１３． 在整个数据挖掘过程中，每个步骤都是相互关联和影响 ［４］谭建豪．数据挖掘技术［Ｍ］．北京：中国水利水电出版社，２００９． 的，在实施过程中还要不断改进找出最优的模型。 （责任编辑：杜能铜） Ｔｈｅ Ｒｅｓｅａｒｃｈ ａｎｄ Ａｐｐｌ ｉｃａｔｉｏｎ ｏｆ Ｗｅｂ Ｄａｔａ Ｍｉｎｉｎｇ ｜ ， Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ｒａｐｉｄ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ Ｉｎｔｅｒｎｅｔ ａｎｄ ｔｈｅ ｇｌｏｂａｌ ｐｏｐｕｌａｒｉｔｙ ｔｈｅ Ｗｅｂ， ，ｄａｔａ ｍｉｎｉｎｇ，ｅｅｈｎｏｌｏｇｙ ｈａｓ ｂｅｅｎ ｉｎ ｖａｒｉｏｕｓ ｆｉｅｌｄｓ，ａｎｄ ｓｈｏｗｅｄ ｉｔｓ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｖａｒｉｏｕｓ ｉｎｄｕｓｔｒｉｅｓ，ｔｈｒｏｕｇｈ ｔｈｅ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｏｆ Ｗｅｂ ａｎｄ ｄａｔａ ｍｉｎｉｎｇ，ｔｈｉｓ ｐａｐｅｒ ｌｉｓｔｓ ｔｈｅ Ｗｅｂ ｄａｔａ ｍｉｎｉｎｇ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅ ｓｐｅｃｉｆｉｃ ａｐｐｌｉｃａｔｉｏｎ． Ｋｅｙ Ｗｏｒｄｓ：Ｗｅｂ Ａｐｐｌｉｃａｔｉｏｎｓ；Ｄａｔａ Ｍｉｎｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ；Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ
