蒋雄 沈平 常彬
摘 要： 当前通过交通基础设施采集的信息越来越复杂。应用一种改进版的TDH Hadoop大数据技术，通过采集异构、动静结合的交通基础信息数据，对数据进行分析挖掘，在公安交通管理方面运用，改善了交通运行状况。
关键词： TDH Hadoop； 交通基础信息数据； 大数据技术； 交通诱导； 数据分析
中图分类号：U491 文献标志码：A 文章编号：1006-8228（2016）10-40-03
Application of big data in public security traffic administration industry
Jiang Xiong， Shen Ping， Chang Bin
（The traffic police detachment of Huzhou public security bureau， Huzhou， Zhejiang 313000， China）
Abstract： At present， the information collected by means of transport infrastructure is becoming more and more complex. Application of an improved version of the TDH Hadoop big data technology， which collects the heterogeneous， dynamic and static traffic basic information data， analyzes and mining the data， put it to use in public security traffic administration to improve the traffic operating condition.
Key words： TDH Hadoop； traffic basic information data； big data technologies； traffic guidance； data analysis
0 引言
步入汽车普遍使用社会，道路拥堵几乎是我们每个人都要面对的问题。而引发道路拥堵的原因有多方面因素，如道路设计，信号配时，交通事故、节假日、早晚高峰等时段性常发问题等。缓解以上问题，一是借助交通长远规划，加强路网建设、改造，二是借助科技、优化交通组织，强化交通管理，提高道路通行与管控能力。下文是我们的工作实践，希能抛砖引玉。
1 相关技术研究
1.1 系统框架
交通基础信息数据的采集有其行业特征，一是采集方式多样，例如通过手机信令、摄像机、微波、雷达、地感线圈、地磁棒等设备等采集到的文本、图片、视频数据；二是数据容量庞大，目前地市级交警支队每年的数据量已从原来的TB级向现在的PB、甚至ZB数量级增长；三是数据种类广泛，不但包括驾驶人、车辆等基本信息，还有的各种行车数据等，以及其他部门的接入数据等。面对海量异构数据，如何进行准确高效的分析和处理，对存储、查询和计算能力都提出了很高的要求。大数据技术有快速、实时的优势，但Hadoop技术对海量数据进行分析和利用效率很低，这就需要完备的决策分析工具集运行在Hadoop架构之上，TDH Hadoop技术应运而生。系统框架图如图1所示。
1.2 大数据技术介绍
TDH Hadoop是针对大规模分布式数据而开发的软件框架，inceptor采用专有的高效列式内存存储格式和为内存优化的Spark计算引擎，相比Map-Reduce框架消除了频繁的磁盘I/O。Spark引擎还采用了轻量级的调度框架和多线程计算模型，具有极低的调度和启动开销，执行速度更快，系统MTTR大大缩短。实时在线应用方面，Hyperbase构建了全局索引、辅助索引和全文索引，扩展了SQL语法，满足在线存储和在线业务分析系统（OLAP）的低延时需求。Discover高效快速的数据挖掘能力与TDH对主流可视化和BI工具的支持，综合在执行引擎及数据存储层上的优化，使得TDH性能全面领先开源Hadoop 2.0，比主流MPP数据库快1.5到10倍。软件逻辑架构[1]如图2所示。
1.2.1 HDFS分布式文件处理系统
HDFS是一个高效的分布式算法，将数据的存储和访问分布在大量服务器之中，在可靠地多备份存储的同时，还能将访问分布在集群中的各个服务器上，是传统存储构架的一个颠覆性的发展。
Namenode登记采集到的基础交通信息作为元数据，将不同来源的基础数据按块，分配到服务器，例如：数据块a放在datenode3中……，实现基础信息的分布式处理。
1.2.2 Hbase数据库
Hbase是运行在Hadoop上的NoSQL数据库，是一个分布式、可扩展的大数据仓库，也就是说HBase能够利用HDFS的分布式处理模式，并从Hadoop的MapReduce程序模型中获益。这意味着在一组硬件上存储着具有数十亿行和上百万列的大表。同时，除Hadoop本身具有的优势外，HBase还是十分强大的数据库，它能够融合key/value存储模式具有实时查询的能力，以及通过MapReduce进行离线处理或者批处理的能力。总之，Hbase能够满足在大量的数据中查询记录[2]。
1.2.3 Hive数据仓库技术
它提供了类似于传统SQL的编程模型，为海量机动车轨迹分析过程提供了友好的编程模型和方法，同时能利用Map/Reduce的高并发特性。
1.2.4 Storm
是一个分布式的、容错的实时计算系统，可以方便地在一个计算机集群中编写与扩展复杂的实时计算。Storm保证每个消息都会得到实时处理，每秒可以处理数以百万计的消息。
1.3 交通网络平衡
面对拥堵的路网状态，要达到路网的平衡，流量分配也至关重要。交通流中的wardrop平衡原理：假设道路使用者都知道各条道路的行驶时间，并选择行驶时间最短的路径作为自己的出行路径，也就是动态交通分配模型，即总路段的阻抗最小，为交通流诱导提供最佳的流量分配，以路网总行程时间最小为目标，同时兼顾路网流量的均衡。模型粗略描述如下[3]。
J-系统总阻抗；
xa（t）-t时刻弧段a上的交通流量（两节点之间道路称为弧）；
ca（x，t）-t时刻弧段a上的行程时间。
在实际应用中，我们只需通过对研判分析反应出来的交通运行状态进行评价，利用手机端、诱导屏、广播、互联网等载体发布诱导信息，进而对交通流进行诱导，优化民众出行路径、时间、方式等，缓解交通拥堵，降低总出行成本。
2 公安交通管理行业应用
运用TDH Hadoop技术，实现全市交通流量、车辆平均通行速度等信息的汇聚、查询、统计、分析、预测等，为社会化服务提供实时流量数据，主要在以下方面：
⑴ 交通运行状态分析
按照时间、空间规律对指定的道路进行平均速度、平均旅行时间、交通路况等信息的综合统计，通过历史变化规律对比分析，对交通运行状态变化趋势进行评价。交通运行状态分析时间跨度1周，单道路查询响应时间5秒内。
⑵ OD分析
通过对采集到的数据进行OD分析，分析每个交通参与者的出行习惯，统筹交通信号控制，提高出行者的整体出行效率。
⑶ 指挥调度
以事件为触发的交通警情调度，通过中心平台的信息共享，形成类似事件的模版化预案。包括日常交通管理调度、道路施工交通调度、交通管制交通调度、警力定位、协调调度等。
⑷ 交通诱导
通过汇总交通流量、车辆平均通行速度等信息，实现按道路、按车道、方向、时间范围、等进行交通流量和速率的分析、预测等，提供海量数据下道路交通状态判别功能，提供实时、有效的出行信息。情报板诱导发布如图3所示。
⑸ 交通运行指数[4]
通过计算得到路网中各路段的运行车速，再按各道路的拥堵权重将所有道路的运行状况以简洁直观的数字图形描述，实现对道路交通运行的量化评价，为市民出行提供及时准确的信息，为政府决策提供数据支撑。根据浙江省评价指标体系[5]开发的运行指数系统如图4。
⑹ 交警大数据实战查缉毒驾应用成效
支队自2015年11月部署实战应用查缉毒驾以来，短短几个月，就发挥了大数据实战缉查优势，查获一批毒驾人员。2015年底，公安部交管局刊载《湖州支队以信息化引领精确警务严查毒驾违法行为》，详细介绍了我市公安交警以信息化引领严查毒驾取得的成效。
3 结束语
汽车社会、海量数据，运用TDH Hadoop技术，探索在公安交通管理的应用，目前还在探索阶段，仍然存在一些问题。今后需要在数据接入的统一性、数据与视频的海量存储扩展性、大数据的可管理性、与业务结合的可用性上加强研究与应用。
参考文献（References）：
[1] http：//www.cnblogs.com/xia520pi/archive/2012/05/28/
2520813.html Hadoop集群（第8期）_HDFS初探之旅.
[2] http：//wenku.baidu.com/view/d1c2a780ec3a87c24028-
c4d0.html Hbase分布式数据库.
[3] 武文斌.路网交通流量分配模型[J].山西交通科技，2002.6：
15-16
[4] 浙江省交通运输厅.城市道路交通运行状态评价规范.
（DB33/T998-2016）.
