大华股份大数据安防应用初探
沈文海
气象科学是一门实验科学，气象科学的理论都是由观测数据的分析产生的。现在气象的理论，是由过去一直到前不久的探测所得出来的信息对它们进行分析得出来的。
气象数据概况
第一，气象数据的总量大概是6到10个PB左右，但是增量是1个PB每年。行业大数据从体量上来看，气象数据勉强算大数据行业。
第二，气象数据不是来源于互联网，而是气象感知系统传输的数据。进入二十一世纪以来，气象部门进行了长达近十年的观测系统更新改造。观探数据量迅猛增长。
可能大家都知道以前人工来进行观测，但是由于人类居住条件以及人体所能承受的工作压力的限制，使得观测厂的设置是每个县观测一次，每三小时观测一次，进入二十一世纪以后由人工观测改为自动观测，这个刚刚说的两个线条没有了，所以观测站就由原来的将近3000个左右，每个县大概是3000不到，观测频率猛增，由过去频度三小时一次增加到现在五分钟一次，所以数量倍数大概增加了670倍左右。观测频率将由现在五分钟一次增加到一分钟一次，增加很多。现在每天80个PB左右，未来一个TB每天。过去只是讯息采集，现在是终年观测，观测频率和观测点数大幅度增加，到2020年还准备增加到将近300TB左右，这只是大概的统计数据。
第三是气象卫星，大家都知道在天空运行的卫星数很多，现在日增量是2.1个TB，未来恐怕要10个TB。
第四就是数值预报模式产品，这个增量也是非常惊人的。除此之外还有高空大气探测、闪电定位监测、土壤监测等。实际这不太严肃，整个气象是由四大金刚撑起来的，如果四大金刚拿非洲的巨型野生动物加以比较，内存数据从体量上来说就是小猫小狗。所以把四大金刚气象数据生成了气象大数据。
大家知道过去探测密度上相对来说欠缺一些，可能有一些细微方面的一些规律还没有被发现，所以进入本世纪以来，气象的观测数据实际在内容上没有发生变化，只是在时空密度上有所增加，这有可能未来增加新的规律。所谓气象大数据有可能会导致我们的一些新的气象科学的新的突破，而这些确实需要海量数据处理，这是数据的概况。所以我们说大数据的参考应用案例我们耳熟能详，其实这不是大数据案例，是上世纪90年代中后期的案例，包括阿里巴巴预测2008年金融危机，以及奥巴马竞选，这些我们都分析过，实际上大数据统计方法无非是统计分析，而在十年前类似数据分析方法便已应用气象预测，所以目前预测到的所有分析方法在气象界早已经应用多年了，这是我们一些传统的成果。
因此如果原封不动套用现在大数据方法，很难产生作用。所以真正发挥作用是信息技术无法取代，至少在可预见的未来是无法取代气象科学的。气象科学需要新的科学创意，加上严禁的业务认证，以及完整的认证实现来共同产生。
为什么是气象云
我们不是为了建云计算才造云，而确实是在信息化建设当中遇到了问题，进入二十一世纪以来，整个在气象部门内部整体规划和设计是比较欠缺的，同时十五十一五和十二五承担了多个项目，而且是信息化领导小组，处在各个不是一个状态，所以导致了业务系统复杂度大大增加了，服务器将近4000台。有的甚至于把办公室腾出来做机房，而自己去招待所租房间做办公室。业务流程非常复杂，2012年统计大致情况，200个业务系统，情况没有根本改变。业务流程系统化，业务功能系碎片化，业务系统烟筒化，这些问题亟待解决。
我把目前气象信息系统比作大胖子，越来越胖，而且不加制止它还会继续胖下去，已经到了不可解决的，同时业务模式都是移到应用端来进行处理和分析。
刚刚说数据近十几年飞速增长，这个应用和转入造成了我们管理代价，产品可信度的代价都越来越高，所以问题已经到了非解决不可的地步了。实际上我们想要做的就是这样，把大胖子打造成这么一个健能者。目标就是三高，高效率、高效益、高效能；途径就是资源集约化、集成化、个性化。
运用大数据云计算以及移动互联等现代信息技术通过集约资源，整合资源再造业务流程，主要是建设两层气象研究中心，其中整合业务资源，政务流程，改变集约化，移动化和最大化。然后结构大概就是这样，1加31加1，1是国家，31是省级，再加1就是备份，以私有云为主，公有云混合。在这里海量数据的分布式管理和处置、虚拟化移动应用等大数据云计算和移动互联等方面的技术将被有机应用到平台。这是我们的设想。
分布式存储
刚刚最开始介绍地面观测资料是我们气象大数据四大金刚之首，这个数据是结构化数据，按照我们应用的传统惯例都是要采用这种叫做数据库来加以管理和应用，而且现在成为行业当中的一个使用惯例了。由于这些数据迅速的增长，用传统的观测数据库根本无法实现这种全员的数据，所以说我们从去年开始进行了相关的探索，我们目标就是探索分布式技术，用分布式数据库来尝试解决这些问题，解决的效果还是不错的。我们用分布式关系数据库来与现有的传统关系数据库进行比较，性能提高了10倍以上，可扩展性非常好。原来可比系统的十分之一，我们参比系统，上面是业务系统，我们这个6190毫秒，这个分布式是0.1秒，但是价格确是它的十分之一，所以我们的性价比，就是我们LE架构提高了100倍以上。
气象信息化需要思考的问题
各社会对气象信息化提出了很多要求，电商方面、金融方面、决策服务、可穿戴移动设备等等都需要我们提供新的更加优良，质量更好的气象服务。所有这一切都有赖于行业结合及深度应用，而且数据共享是最关键的环节。
我们现在智慧城市最近是一个很热的话题，同行当中也有很多其他的数据，在智慧气象方面气象部门也有很多这方面的探索，未来气象人也可能会是气象部门现代化一个需要注意的点。这个业务从探测开始到智慧到参与等都需要感知、探测和判断。
决策是政府和上级决策部门非常需要的，需要产品制作柔性化，服务个性化，以及业务之间的流动化。关键在气象业务方面移动应用有其特殊的含义或者特殊的意义，它逐步能够实现基层业务单位的业务系统。这个非常重要。因为现在气象业务部门，特别是基层，人非常少，根本没有力量维护传统意义上的信息系统，包括数据库服务器等，如果应用方式一旦普及下来，这种单位就可以从繁重的系统维护当中解决出来，而干专业人士干专业的事儿，同时为管理扁平化提供良好的工作环境。
总而言之，新的时代，气象服务面临众多新的领域和新的服务要求，云端，云化资源，已经在设计过程当中。规范技术，就是数据规范，基础架构规范和软件平台规范。统一运维，呼声很高，希望能够在将来多元当中实现。海量信息是充分发挥有效性，主要是及时发现，及时定位，准确判断和快速查处。智慧人影，敏捷决策，移动应用，云计算等是我们未来需要重点思考的。
