复杂性将如何影响大数据部署
杨光
日前发布的《2017～2022年中国大数据产业发展前景与投资战略规划分析报告》显示，中国大数据产业市场在未来五年内，仍将保持着高速增长。预计2016年年末，市场规模将达到2485亿元，而随着各项政策的配套落实及推进，到2020年，中国大数据产业规模或达13626亿元。
管理数据的效率需提升
有专家认为，通过大数据技术使人们可以利用以前不能有效利用的多种数据类型，抓住被忽略的机遇，使企业机构变得更加智能和高效。大数据的重心将从数据的存储和传输过渡到数据的挖掘与应用，这将深刻地影响企业的商业模式，既可直接为企业带来利润，也可通过正反馈为企业带来难以复制的竞争优势。据麦肯锡测算，大数据的应用每年潜在可为美国医疗健康业和欧洲政府分别节省3000亿美元和1000亿欧元，利用个人位置信息潜在可创造出6000亿美元的消费者剩余。因此大数据应用有远超万亿美元的市场。
大数据产业链参与者众多，覆盖面广。按照产品形态，主要分为硬件、基础软件和应用软件三大领域。综合各领域国内外竞争态势，商业智能、信息安全和云计算将是数据挖掘和应用环节国内相对受益的三驾马车。中国智能市场已步入成长期，“十三五”期间潜在空间将超过300亿元；信息安全“十三五”期间潜在空间将超过4000亿元；云计算刚进入成长期。
据测算，到2020年，全球需要管理的数据量将达到35ZB，相较于2011年将增长50倍，而同期IT从业人员将仅增加1.5倍，意味着人均管理数据量将膨胀近33倍。虽然目前看来，人力资源的配给与现有的数据库管理技术基本是匹配的，但是未来，如果人类管理数据的效率不能保持同步提升，在大数据时代将无法对数据进行有效管理。
传统数据库的管理能力无法应付大数据体量的数据。人们和机器制造越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。目前成熟的经典数据库技术——结构化数据查询语言SQL，在设计的一开始是没有考虑非结构化数据的，也就是说以前计算机人员讨论数据的时候，数据的范围限定在结构化数据范畴以内。
真正的挑战是洞察
大数据和分析法的质量，不如分析的目的来得重要。最有趣的紧张态势和争论，始终围绕着组织是否会因使用分析法而获得最大报酬，以使既有的流程行为更完善，或者改变公司人员的行为。
许多企业投下数百万美元用于大数据、大数据分析，并雇用数据分析家，但却感到很受挫。无可否认，他们现在得到了更多、更好的数据。他们的分析师和分析法也是一流的。但经理人对业务的想法和争论，似乎与过去的类型仍一样，只是他们使用的数据与分析法都比以前好得多。最终的决定可能更加由数据驱动，但组织文化给人的感觉仍然相同。正如一位CIO最所言，“我们现在可以做实时的分析，那是我在五年前根本无法想象的，但这样所带来的影响力，仍与我的预期差距很远”。
“要等到管理阶层确认想要改变、并清楚知道影響的行为是什么之后，我们才会去做分析或商业情报的工作”，一位金融服务公司的CIO说，“提高合乎法规的情况和改善财务报告，是很容易获得的成果。但是，这只意味着我们使用分析法去做我们已经做得比以前好的事情。”
真正的挑战是洞察，利用大数据和分析法，以改善解决问题和决策的方式，会掩盖组织里一个现实情况，那就是新的分析法往往需要新的行为。公司人员可能需要作更多分享和协力合作；各部门可能需要设置不同的或互补的业务流程；经理人和高级主管可能需要确保，现有的激励措施不会破坏分析带来的成长机会和效率。
例如，一家医疗用品供货商整合有关“能带来最多利润的客户”和“最赚钱产品”的分析，必须对业务人员与技术支持团队进行完整的再教育，两者都是为了“打扰”并“教育”客户有关附加价值较高的产品。这家公司了解，这些分析法不应该只是被用来支持现有的销售和服务实务，而应该被视为一种契机，可推动新型的促进式和顾问式销售及支持组织。
讽刺的是，大数据和分析法的质量，不如分析的目的来得重要。最有趣的紧张态势和争论，始终围绕着组织是否会因使用分析法而获得最大报酬，以使既有的流程行为更完善，或者改变公司人员的行为。但大致的共识是，最有成效的对话聚焦于分析如何改变行为，而非解决问题。
得到正确的答案，甚至是问正确的问题，原来不是拥有高ROA企业的主要关切点。无可否认，数据与分析法的问题、答案，都是重要的。但更重要的是，这些问题、答案及分析法，如何与个人与机构的行为协调一致（或彼此冲突）。有时候，即使是最好的分析法也可能引发适得其反的行为。
大数据实现空间化表达
对于国民经济的发展，测绘地理信息技术发挥的作用越来越大。测绘行业的人不要固步自封，要跳出测绘看测绘，把测绘技术用到国民经济的发展当中才能发挥真正的价值。
地图服务模式创新如今已进入大数据思维模式的成熟发展阶段，大数据分析方法融入测绘地理信息行业，强调了数据、业务、空间三个维度的结合，能够真正解决问题。中科宇图大地图可以提升大数据的宏观定性，也是微观定量分析的基础。如何把大数据从定性到定量发展，空间数据、地图能够发挥作用。通过大地图的创新模式，大数据的分析方法从平面走向了立体这样的一个思维模式，这种空间位置的动态演变与时间序列的动态演变过程相结合的模式，这才是地图与大数据真正的结合点。
实际上，地图技术应用存在着四大痛点，即地图专业技术壁垒、解决了地图经费的高投入、地图数据使用保密、地图行业数据共享的难题。基于此，中国测绘地理信息学会创立了地图大数据的创新工作委员会，通过在政府、科研机构、行业及从事大数据的公司之间架设起交流的桥梁，促进大数据技术与测绘技术融合，并通过非营利的运作，物联网技术、云计算技术、大数据挖掘的技术、空间技术、物联网、移动互联网、智能化采集技术、模型技术等核心技术的共同研究，搭建基于数据采集、运行管理以及应用的科学决策不同的相关的体系，建立并完善一个基于地图与大数据真正整合的不同的资源体系。大数据应用层面，障碍重重。
无独有偶，大数据应用过程中也同样存在诸多问题。清华大学教授党安荣指出，大数据应用并未深入到各行各业的应用中去，而基于大数据的服务体系也并未建立起来，如何聚合大数据服务还是个难题。与此同时，如何将含有人本信息的信息以及反映的过程和他的实时的交互结合在一起，形成动态化的相关应用模式，并最终形成流程化应用，值得探讨。
大数据的应用范围之广，党安荣教授大数据以人居环境研究中的应用实践揭示了大数据应用的重要意义。随着GPS数据日益增多，国内北斗卫星系统的逐步完善，智慧城市的大规模建设，物联网的发展，大数据也逐渐多起来，并进入到了遥感大数据新时代。在宏观应用方面，夜光遥感数据能够直接反映城镇化的水平，而人口迁徙则反映了城镇建设的系统或者经济系统的发展水平；在微观应用方面，通过各样的传感器形成物联网，进一步形成云计算，可以用来了解小区的气候环境以及动态变化。
如果用地图可视化的方式来进行大数据表达，只需要在数据其他的属性等等这些纬度之上再加一个空间的纬度，再加一个时间的纬度即可。只有用专业的分析工具进行分析，打造出各种各样的呈现方式，才能够便于公众的决策，利于广泛应用。
如今，大数据应用程序比常规应用程序复杂10倍，开发人员通常需要了解大量的技术，以使大数据能够正常工作。
大数据的应用仍然太难了。尽管有很多的炒作的成分，但大多数企业仍然努力从他们的数据中获得价值。而Dresner咨询服务公司得出结论：“尽管长时间的意识培养和炒作，大数据分析的实际部署目前并不广泛适用于大多数组织。”
