大数据时代的安防云存储及应用行业资讯

2014-09-15    来源:机房360    编辑:娟子
随着互联网技术的飞速发展,云计算、物联网、社交网络等新兴服务促使人类社会的数据种类和规模正以前所未有的速度增长,大数据时代正式到来。据全球领先的信息技术研究和咨询

  1.背景

  纵观整个安防领域,平安城市是规模最大、业务最复杂的庞大系统,涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等多个分区领域,视频接入规模从几千到几十万,随着安防监控对高清、智能、联网的要求越来越高,各地平安城市项目每天产生的数据规模正以惊人的速度不断增长。“十二五”期间,全国城市地区要基本完成报警与监控系统建设,实现对重点地区的全覆盖,各省市级和有条件的县(区)级公安机关完成监控报警平台数据库建设,实现跨地区、跨部门、跨警种的信息共享。

  2011年,“3111工程”进入整体推进阶段,推广至每个地级市,整体直接投资近1000亿元。未来五年内,中国各大城市将继续投入巨额资金全面开展平安城市的联网监控系统的建设。据公安部科技局的估计,一个中型城市的平安城市建设投入将达几百亿,其中视频监控系统所占比例为28%,而存储设备的投资往往会占到视频监控设备总投资的20%~40%,同时随着视频监控高清化的发展,对存储设备的容量需求将直接数倍乃至十余倍地增长,大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,数据管理方式上的变革正在酝酿和发生。目前我国共有2300多个地市城市和县城,蕴藏着巨大的市场潜力。

  2.云存储应运而生

  从目前大部分城市的安防系统架构看,安防大数据的传输渠道主要是网络,一般都采用联网汇聚、分级存储的机制,网络一般为千兆网,存储也以一般的磁盘阵列存储为主。为了适应安防信息整合,安防数据分析和信息挖掘的需求,安防系统逐步倾向于互联、整合,而安防数据信息也逐渐的汇聚和集成,出现了万兆网络集中汇聚管理,并且以云存储作为视频图像数据存储平台的趋势。目前,云存储已成为安防大数据的核心技术,各厂商也在着力提升自己的研发能力。

  2.1.结构模型

  本文所要介绍的云存储系统的结构模型共由4层组成。

云存储系统结构示意图

  云存储系统结构示意图

  1)数据存储层

  数据存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和iSCSI等IP存储设备,也可以是SCSI或SAS等DAS存储设备,当然也可以是普通的PC机硬盘。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

  2)数据管理层

  数据管理层是云存储最核心的部分,也是云存储中最难以实现的部分。数据管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

  3)数据服务层

  数据服务层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。

  4)应用访问层

  任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。

  2.2.云存储拓扑

  根据云存储架构的特点,云存储系统应用拓扑如图所示。

 视频监控云存储结构

  视频监控云存储结构

  云存储系统的核心由云存储控制服务器和后端存储设备组成。

  1)控制节点

  云存储控制器负责整个系统元数据和实际数据的管理和索引,提供超大容量管理,实现后端存储设备的高性能并发访问和数据冗余等功能。云存储控制服务器是整个系统的统一管理平台,管理员可以在其中监视系统运行情况、管理系统中用户和各项策略等。

  2)存储节点

  云存储系统采用高性能应用存储设备,可内嵌云存储系统访问协议包、存储节点认证许可等。设备采用高密度磁盘阵列设备,每套设备通过网络接入到云存储系统中,进入云存储存储池后进行分配。对数据存储可实现多副本、多物理设备分别保存,当容量或带宽需要扩展时,通过增加存储节点来实现,根据实际需要灵活扩张,在系统运行中进行在线的容量和性能增加。

  3.云存储应用

  随着公安信息化建设的不断提速,“情报信息主导警务”的理念日渐深入,建立公安实战平台,帮助公安部门进行可疑线索视频情报研判及实战应用,已成为公安机关案件侦破工作不可或缺的重要技术手段。中安消技术有限公司研究院针对公安视频情报的分析需求开发了一套公安视频侦查实战平台(简称公安实战平台)。公安实战平台主要由资源接入层、云存储层、核心业务层构成。资源接入层主要负责各种资源,如视频、音频、文档等警情资源的汇总导入,云存储层负责对海量信息资源进行高效存储管理,核心业务层是整个平台最重要最核心的部分,负责对海量信息资源的检索排查、智能处理、案件的分析研判以及对平台的综合管理。

  对于目前大型或者超大型的高清监控系统,数据量往往是在数PB甚至上百PB的,这既需要大量存储设备的支持,又需要对设备采集的海量数据进行高效的管理,视频监控资料的80%是用来作为案事件的事后搜索和查询,以提供案件线索,通常录像资料的存储是15天,但是案件的发生没有预计性,有些事件发生的时间会不只15天,毫无疑问,公安部门对于视频录像的存储需求很明显。如何在有限的存储空间内提供更长的文件记录时间是用户所期待的,同时公安实战平台不仅仅是监控和存储,还要可以提供公共安全防范,如预警、突发事件处理等服务,对存储系统的要求很高。在充分估量平台存储需求基础上,公安实战平台提供的云存储服务采用层次清晰的存储架构,存储对用户透明,云存储服务接口统一,简化了应用步骤,实现了对海量存储设备的高效配置和透明扩展,对平台所需的海量数据的高效管理和控制,针对各种视频的流媒体文件系统、缓存优化、数据保护机制等提供近乎100%的服务保证,充分体现了云存储海量存储、应用简单、低成本高可靠性的特点。

公安实战云存储应用

  公安实战云存储应用

  4.总结

  大数据技术在安防各领域的应用并不如在IT、互联网行业那样成熟,在日渐庞大的数据面前,如何做到对海量视频数据的综合应用与精准分析,正是平安城市大数据亟待解决的问题,基于云存储系统之上的大容量视频监控解决方案,以及创新的城市级海量视频云存储系统和高清图像智能分析检索技术,决定了它需要大数据技术予以支撑,而且将是支撑未来安防监控乃至其它大容量存储及图像处理应用领域的最好选择,完全满足未来监控存储所必须的技术需求。

1
3