------------------------------------------------------------------------------
大数据研究综述
蔡藩贤
(中国医科大学 药学院 沈阳 110122)
摘 要 大数据是自互联网,物联网,云计算等之后近来十分热门的一个词汇。本文通过介绍大数据的概念、起源、发展现状以及未来趋势,对大数据时代所面临的挑战和机遇进行了总结。
关键词 大数据 大趋势
Abstract: Big data is becoming a top hot vocabulary after Internet ,LOT and Cloud Computing. By introduce the concept, beginning, development status and future trends of the Big Data. At last ,there’s a conclusion of the challenges and opportunities in the age of Big Data.
Key words :Big Data Megatrends
在云计算技术的支持下,越来越多的人们在谷歌、百度等搜索引擎进行搜索。各个社交网站,如、Twitter、微博等的资料分享量也在与日俱增。人们无时无刻不在利用网络进行数据的交互与共享,所以,大数据时代的来临是不可避免的。
一、 大数据的起源
1、大数据的概念
大数据一词最早来源于英文中的Big Data,具有量词的含义,代表的是巨量的资料以及所涉及的庞大的处理和采集。现在对于大数据的定义以及概念并没有统一。但在这方面比较权威的麦肯锡全球研究所(MGI)提出【1】,“大数据”是指大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集。该定义有两方面内涵:一是符合大数据标准的数据集大小是变化的,会随着时间的推移、技术的更新和进步;二是不同部门符合大数据标准的数据集大小会存在差别。目前,大数据是从几个TB到几个PB(数千TB)。
2、大数据的由来
早在1980年,美国社会思想家阿尔文·托夫勒在《第三次浪潮》【2】一书中就提出,如果说IBM的主机拉开了信息化的大幕,那么大数据才是第三次浪潮的华彩乐章。大数据会以其浅显易懂的概念、广泛的潜在应用需求和可展望的巨大的社会经济效应,在社会经济的各个领域产生深刻的影响。
许多人将2013年定义为大数据的元年,但其实麦肯锡研究所在2011年6月便发表了题为《大数据:下一个创新、竞争和生产力的前沿》【3】的研究报告,最早提出大数据时代已经到来。当前大数据规模以及其存储容量正在迅速增长,已经渗透到各个行业和业务职能领域,成为可以与物质资产和人力资本相提并论的重要的生产要素。大数据是继传统IT之后下一个提高生产率的技术前沿。只要具有适当的推动,大数据的使用将成为未来提高竞争力、生产力、创新能力以及创造消费者盈余的关键要素,成为领军企业与其他企业之间最大的显着差别。
3、大数据的特点
大数据具有“4个V”的特点,或者说是四个层面:第一,大量(Volume),指数据体量庞大,从原来的TB级别跃升到PB级别;第二,多样(Variety),涉及到文字、音频、视频、图片、地理位置信息等等;第三,高速(Velocity),1秒定律,可从各种类型的数据中快速获得高价值的信息,这一点也是和传统的数据挖掘技术有着本质的不同;第四,价值(Value),指其价值密度低,价值密度的高低与数据总量的大小成反比。以视频为例,一部1小时的视频,在连续不间断的监控中,有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下急需解决的难题。
二、 大数据的发展
1、 第一阶段的发展
在2013年以前,已经有国家开始重视关于大数据的研究和应用了。如美国在2012年3
月就由奥巴马宣布推出“大数据的研究和发展计划”。该计划涉及美国国家科学基金、美国国家卫生研究院、美国能源部、美国国防部、美国国防部高级研究计划局、美国地质勘探局等6个联邦部门,承诺将投资两亿多美元,大力推动和改善与大数据相关的收集、组织和分析工具及技术,以推进从大量的、复杂的数据集合中获取知识和洞见的能力。美国奥巴马宣布投资大数据领域,是大数据从商业行为上升到国家战略的分水岭,表明大数据正式提升到战略层面,大数据在经济社会各个层面、各个领域都开始受到重视。
2012年4月,美国软件公司Splunk于19日在纳斯达克成功上市,成为第一家上市的大数据处理公司。鉴于美国经济持续低靡靡、股市持续震荡的大背景,Splunk首日的突
出表现尤其令人们印象深刻,首日即暴涨了一倍多。Splunk成功的上市也促进了资本主义市场对大数据的关注,同时也促进IT厂商加快大数据布局。
2、 大数据元年:2013
在大数据的元年,也就是2013年中,许多人提出了“数据就是资源”【4】这一类观点。
以余额宝为例,2013年,互联网金融产品在人们的日常生活中带起了一波热潮。而此类理财产品的最鲜明的特点就是基于大数据。不仅有助于识别、分散风险,提供更有针对性、多样化的服务,而且批量化、流水化的作业更使得交易成本大幅下降。
也在同年12月,由中国云计算大会衍生的中国大数据技术大会也在北京举行。这表明我们国家也愈加重视大数据在市场经济与科技领域的潜在价值。
3、 发展至今
2014年4月,世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报
告(第13版)》【5】。报告认为,在未来几年中针对各种信息通信技术的甚至会显得更加重要。在接下来将对数据保密和网络管制等议题展开积极讨论。全球大数据产业的日趋活跃,技术演进和应用创新的加速发展,使得各国逐渐认识到大数据在推动经济发展、改善公共服务、增进人民福祉,乃至保障方面的重大意义。
次月,美国白宫发布了2014年全球大数据的研究报告《大数据-抓住机遇、坚
守价值》【6】。报告鼓励应用数据来推动社会的进步,但同时也需要相应的框架、结构与研究来保护美国公民的个人隐私,以及公平,确保防止歧视的坚定信仰。
15年,印发了《促进大数据发展行动纲要》【7】,明确开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴产业的发展新生态。标志着大数据正式上升到国家战略的高度。
三、 大数据的应用及未来趋势
1、 大数据的应用
在人们日常生活中,大数据已变成一个不可或缺的角色了。如在交通和旅游中,利用
微信、微博等数据可以分析人流集中的热点,预先知道旅游的热点以及交通拥堵的情况;在医疗保健中,用途也十分广泛,如甲型H1N1爆发的几周前,Google就给出了预测,而且还能判断是从哪里来的。而在更大的层面,例如商业、农业、制造业以及金融业中,大数据都可以起到不同的作用,给国家、企业带来更为直接的信息。而在科学研究中,大数据可以用于天文学的研究、气候的变化分析、基因组的设计或者新药的设计与合成。
2、 大数据的未来趋势
大数据的发展现在面临以下的几个问题:第一是网络数据中真伪混杂,且微博、等
网站中虚假信息传播速度很快;第二是大数据挖掘要有法可依,我们在提供数据共享的同时又要防止数据被滥用。
我们要增加对于大数据能很好的理解的以及应用的人才的培养,以此来加快大数据的发展应用速度,挖掘大数据在社会经济各方面的潜能。
四、 结束语
在这个信息发展飞速的时代,大数据在我们生活中的出现率越来越高,我们对大数
据的使用也会日趋平常。大数据尚在起步阶段,我们要不断的开拓它的使用方向,增加它的使用频率。如何高效地、合理地处理和利用大数据仍亟须被探索。
参考文献
【1】 David Court,Jesko Perry,Tim McGuire,Dennis Spillecke 《麦肯锡大数据指南》 机械工业出版社 2016.10
【2】 阿尔文·托夫勒 《第三次浪潮》 三联书店 1983.3
【3】 麦肯锡全球研究所(MGI) 《大数据:下一个创新、竞争和生产力的前沿》 2011.6
【4】 张意轩 于洋 《2013被称为大数据元年:数据就是资源》 人民日报 2013.1.17
【5】 INSEAD 世界经济论坛(WEF) 康奈尔大学 《全球信息技术报告》 2014.4
【6】 美国总统行政办公室 《大数据-抓住机遇、坚守价值》 2014.5
【7】 《促进大数据发展行动纲要》 国发[2015] 50号 2015.8.31