论是理解大数据的关键吗
樊亚锋+刘宏月
【摘要】 近些年，科技飞速发展，大数据也盛行开来。生活中的种种用户信息都是大数据的一份子，它们相辅相成，推动人类生活向好的方向发展，当然给我们生活的方方面面带来便利。重视以及精通大数据已经是我们每个学生所必不可少的。
【关键词】 数据 数据特点 常用技术 数据意义
一、大数据概述
1.1大数据定义
随着科技的发展，像云计算科技，软件科技，物联网科技等的兴起和发展，数据正飞速发展，大数据时代已经来临了，并且在我们生活的方方面面占据着重要作用，然而，到目前大数据并没有明确的定义。学术界的定义，即大数据是形式多样的，大数据量的非结构化数据；比较有代表意义的定义还有大数据需满足规模性，多样性，高速性，即是3V定义；维基百科把大数据定义成，可以利用常用软件来捕获，管理以及进行数据处理时需花费大量的时间。
1.2大数据发展历史
数据的研究一词源于1944年，弗莱蒙特·雷德在《学者与研究型图书馆的未来》中首次提出对数据的研究，他发现管中的书籍量每16年就会翻倍，提出数据的研究，后来数据一词不断被提到。到了1997年《为外存模型可视化而应用控制程序请求页面调度》问世，在文中是这样描写的：“可视化对计算机系统提出了一个有趣的挑战：通常情况下数据集相当大，耗尽了主存储器、本地磁盘、甚至是远程磁盘的存储容量。我们将这个问题称为大数据。”这是在美国的计算机学会数字图书馆中首篇用“大数据”这一术语。随之大数据研究受到重视，迅速发展，每年世界所产生与复制的数字化数据总量不断攀升。
21世纪之后，大数据的发展更是加快了步伐，互联网数据中心对接下来10年的数据量进行了预计，表明到2006年，全世界将产生了161EB数据，同时预计至接下来的四年，每年数据量将以六倍多的数量增加，达到988EB。近几年，大数据更是分布于全球的各个方面。
1.3大数据特点
（1）数据量巨大。电子商务，互联网等每天都会产生大量的数据，供用户便捷地获得信息，这些信息量是大量的，非人工能够计算的。
（2）广泛的异构性。正如现在数据向半结构化和非结构化等融合结构的转化；数据源向具有时空特性的数据源的转化都表明数据的广泛异构性。
（3）多种多样，分布广泛。随着物联网，互联网的发展，大数据的种类也随之不断发展。
（4）价值密度低。因数据量大，有用信息量一般很少，所以有价值的信息占据比重较低，即价值密度低。
二、大数据常用技术
2.1 Hadoop
Hadoop主要有HDFS和MapReduce构成，是一个很成熟和完善的分布式计算系统，可以用来解决数据存放以及一些有关的计算问题，Hadoop可以通过常用的一些硬件来构建稳定的，高效的，功能齐全的分布式集群计算系统。
2.2 NoSQL数据库
NoSQL是来源于一个开源关系型数据库的名字，可以理解为非关系型数据库，但是始终没有一个明确的定义。NoSQL为集群环境而设计，可用来解决越来越大的数据量，能够大量，高效率的处理大数据，它能够形成容易编程，功能齐全，扩展性良好的系统。
2.3 Spark
Spark是一套分布式内存迭代计算系统，它通过Scala语言写成，Spark构建了以处理大数据为目的的一体化解决方案，使用者能够用同样的API来操作Spark的所有功能，同时Spark中的四个主要子框架能够操作彼此的数据。
三、大数据的意义
大数据的研究可以提升中国在国际科学界的重要地位，捍卫和加强国家网络空间的数字主权。随着信息技术的快速发展，互联网，物联网等先进科技在全国各地普及并且占据重要作用，任何国家想要变得更强都离不开科技，国家层面的竞争力在很大一部分同样反映在国家的网路数据的规模，对数据的分析能力和运用能力。
大数据和商业机遇紧密相连，可以促进经济发展。近些年网络大数据在科学领域有重大突破，当然在技术方面同样有巨大的提升，就目前我们在大数据领域的实力足以驾驭大数据涌现性、清理数据的复杂性，掌握大数据复杂性，当然我们也能够从巨大的数据流中找出人们有用的、有针对性的信息和知识，最终能够充分实现信息的价值。各行各业都有自己的数据，通过对数据的统计，数据分析，提出应对策略，提升行业用户竞争力，从而带动经济发展。
参 考 文 献
[1]網络信息的检索与挖掘回顾[J]. 程学旗，郭嘉丰，靳小龙. 中文信息学报. 2011（06）
[2]数据质量和数据清洗研究综述[J]. 郭志懋，周傲英. 软件学报. 2002（11）
[3]网络大数据：现状与展望[J]. 王元卓，靳小龙，程学旗. 计算机学报. 2013（06）
[4]大数据分析——RDBMS与MapReduce的竞争与共生[J]. 覃雄派，王会举，杜小勇，王珊. 软件学报. 2012（01）
[5] Hadoop权威指南[M]. 清华大学出版社 ， （美） 怀特 （White， 2011）
