专利内容由知识产权出版社提供
专利名称：一种基于Hadoop云平台的海量数据比对方法及系
统
专利类型：发明专利发明人：何攀
申请号：CN201410602807.2申请日：20141031公开号：CN104317942A公开日：20150128
摘要：本发明涉及一种基于Hadoop云平台的海量数据比对方法和系统，所述方法包括：步骤1，将海量数据按区间标尺切分为若干份，并利用云比较引擎对每份数据进行排序，输出对应数量的内部有序的文件至基于Hadoop云平台的分布式文件系统中,作为源数据比对文件；步骤2，当有比对任务时,分布式文件系统通过其主任务节点来调度和控制其余任务节点执行任务文件；步骤3，每个任务节点找出其要执行的任务文件,与源数据比对文件进行比对,将比对的文件中的相同记录放至同一个文件中,将差异记录放到设定的差异文件中；步骤4,各任务节点完成文件比对后,主任务节点对各任务节点的比对结果进行合并和输出。本发明提高了海量数据一致性比对的效率。
申请人：北京思特奇信息技术股份有限公司
地址：100086 北京市海淀区中关村南大街6号中电信息大厦16层
国籍：CN
代理机构：北京轻创知识产权代理有限公司
代理人：杨立
更多信息请下载全文后查看
