其实，从前几年开始，安防厂商就已经开始在强调视频结构化，经过算法的演进和技术的革新，视频结构化开始大规模地得到应用。那么，何为视频结构化?

　　视频结构化是一种视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息的技术。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

　　北京深瞐科技 韩会勇 18611928359

　　我们为什么需要视频结构化

　　视频结构化技术紧紧抓住视频内容信息处理和网络化共享应用的主线，行业力争经过若干年的技术攻关和系统建设，全面实现监控视频信息的情报化、视频监控网络的智慧化，强化警务视频应用的普适性。即实现以机器自动处理为主的视频信息处理和分析，并且通过技术手段转化为公安工作可用的情报;实现监控网络之间、终端之间、警种之间的信息共享和主动互操作，实现主动监控、自动联网分析等网络功能;全方位拓展视频在警务工作中的应用模式，大幅度提高技术的易用性，实现以业务民警为中心的随时随地的灵活、简单、多样的视频按需服务应用。

　　除了公安行业，视频结构化技术的应用场景也在智能交通展开来。目前电警卡口在图侦上的应用需求和频率早就超越了交警，因为案件基本都要与车辆发生联系，这能找出很多的线索。而卡口电警对于车辆的抓拍角度是相对固定的，能够开发出相应的车辆特征识别技术，电警卡口属于业务需求和技术实现的一个很好的匹配点。这就是视频结构化的应用储备，国内有部分厂家已经开发出的摄像机能突破平面图像特征的局限，得到更精准的三维系信息，如人体数量，高度，物体长度等。

　　视频结构化技术被广泛应用

　　在视频结构化描述的内容方面，公共安全关注的视频信息主要是：人员、车辆、行为。在视频中把人作为一个可描述的个体展现出来，其中包括人员的面部精确定位、面部特征提取、面部特征比对，人员的性别、年龄范围、大致身高、发饰、衣着、物品携带、步履形态等多种可结构化描述信息;对于车辆的描述信息包括：车牌、车颜色、车型、品牌、子品牌、车贴、车饰物信息等多种车辆描述信息;对于行为的描述信息包括：越界、区域、徘徊、遗留、聚集等多种行为描述信息。

　　经过视频结构化处理后，可以达到如下目的：

　　首先，是视频查找速度得到极大的提升。视频结构化之后，从百万级的目标库中(对应数百到一千小时的高清视频)查找某张截图上的行人嫌疑目标，数秒即可完成;千万级目标的库中查找，几分钟即可完成(如果实现云化，速度会更快)。在结构化基础上进行检索查询，可以解决快速目标查找问题。

　　其次，是存储容量极大的降低，经过结构化后的视频，存储人的结构化检索信息和目标数据不到视频数据量的2%;对于车辆，不到1%;对于行为降得更多。存储容量极大地降低，可以解决视频长期存储的问题。

　　最后，视频结构化可以盘活视频数据，可作为数据挖掘基础，视频经过结构化处理后，存入相应的结构化数据仓库，对各类的数据仓库可以进行深度的数据挖掘，充分发挥大数据作用，提升视频数据的应用价值，提高视频数据的分析和预测功能。

　　视频结构化分析平台的基本要求

　　系统具备云计算架构，部署应采用集中处理、分级调阅的方式，具备多级级联，动态结构化处理服务自动分配，具备系统多节点的平衡负载，重特大事件处理时可并行网络服务计算能力及集群能力;

　　客户端应支持C/S架构，单个节点设备最少具备20个用户并发访问;

　　后台管理应支持B/S架构，具备权限、用户、结构化任务设置、综合网管等功能。

　　具备从硬盘录像机获取视频流和录像文件;

　　具备用户上传本地视频文件;

　　具备对上传文件进行统一转码，满足网络点播;

　　具备对上传文件进行结构化视频合成播放，并能够基于结构化后视频的事件标签回溯播放原始视频。

　　具备对上传的视频文件或视频流进行结构化分析，满足视频内活动事件的特征信息提取，通过时间戳与视频文件关联后进行结构化存储

　　具备对处理文件的内容搜索，按视频内活动事件的运行方向、活动范围、颜色值、大小等特征进行搜索和过滤;同时具备所有视频时间、地点等条件搜索和过滤。

　　具备对平台中各个处理单元的实时运行检测，提供综合网管模块，能够对平台各服务模块及设备的资源利用的情况，通过图表的方式进行直观展示;

　　具备权限控制功能，通过为不同用户指定相应的角色，来控制用户的可操作范围。

　　总之，随着大数据和深度学习的发展，视频结构化必将会为视频数据的智能化提供强有力的支持，从而使主动式防控系统成为可能。

　　公共安全当前的状况

　　平安城市的建设起源于“科技强警”战略和城市报警与监控系统建设即“3111”试点工程两大项目。从2004年以来，经过十多年的建设，平安城市的视频存储规模已经突破EB级，这些巨量的视频数据在社会公共安全管理和案件侦破等工作中越来越扮演着不可替代的作用。在公共安全信息化建设深入开展的背景下，现有视频系统存在着缺乏深度应用模式、视频数据智慧化程度不高等突出问题。如何用新技术改造现有的视频系统，使之能更好地适应物联网时代视频智慧化、情报化的应用需求已迫在眉睫。当下主要的问题在于：缺少视频信息情报的标准化生成方法，进而缺少利用视频信息情报指导侦查、破案的新型警务工作模式；视频信息化情报化警务应用各环节缺乏统一的标准和规范。

　　所有这些问题的根本在于对视频内容的不理解，没有一个高效的、标准化的视频数据交换和视频情报提取的方法。迎接视频数据深度应用的挑战，其核心及瓶颈是通过研究视频结构化描述技术解决通用视频数据向视频信息化、视频情报化方向的转化，实现社会公共安全工作模式的创新。

　　2 视频结构化说明

　　视频结构化描述是一种基于视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人类理解的结构化信息的技术。从数据处理的流程看，视频结构化描述技术能够将非结构化的视频数据转化为人和机器可理解的结构化或者半结构化情报信息，并进一步转化为公共安全实战所用的情报数据，实现视频数据向信息化、情报化的方向转化，达到视频感知世界的智慧应用。视频结构化描述既是海量视频实现信息化、情报化转化行之有效的技术，也是当前公共安全领域中对视频结构化处理的一个指向性方案。在视频结构化描述的内容方面，公共安全关注的视频信息主要是：人员、车辆、行为。在视频中把人作为一个可描述的个体展现出来，其中包括人员的面部精确定位、面部特征提取、面部特征比对，人员的性别、年龄范围、大致身高、发饰、衣着、物品携带、步履形态等多种可结构化描述信息；对于车辆的描述信息包括：车牌、车颜色、车型、品牌、子品牌、车贴、车饰物信息等多种车辆描述信息；对于行为的描述信息包括：越界、区域、徘徊、遗留、聚集等多种行为描述信息。

　　经过视频结构化处理后，可以达到如下目的：首先是视频查找速度得到极大的提升。视频结构化之后，从百万级的目标库中（对应数百到一千小时的高清视频）查找某张截图上的行人嫌疑目标，数秒即可完成；千万级目标的库中查找，秒级

　　即可完成（如果实现云化，速度会更快）。在结构化基础上进行检索查询，可以解决快速目标查找问题。其次是存储容量极大的降低，经过结构化后的视频，存储人的结构化检索信息和目标数据不到视频数据量的2%；对于车辆，不到1%；对于行为降得更多。存储容量极大地降低，可以解决视频长期存储的问题。

　　最后，视频结构化可以盘活视频数据，可作为数据挖掘基础，视频经过结构化处理后，存入相应的结构化数据仓库，对各类的数据仓库可以进行深度的数据挖掘，充分发挥大数据作用，提升视频数据的应用价值，提高视频数据的分析和预测功能。

　　3 视频结构化的应用领域

　　"公共安全"顾名思意,就是事关人民普通大众的安全.它指得不是某人的安全,也不是某一个特殊群体(譬如某抢劫团伙)的安全,而是指身边的普通大众的安全. 公共安全“以人为本”，旨在保障国民安全和社会稳定。随着人类物质文明的高度发展，国家、社会和个人对安全的依赖和企盼达到了前所未有的高度，公共安全所涉及的领域众多： 公共安全包含信息安全，食品安全，公共卫生安全，公众出行规律安全、避难者行为安全，人员疏散的场地安全、建筑安全、城市生命线安全，恶意和非恶意的人身安全和人员疏散等； 公共安全事件包含自然灾害、事故灾难、公共卫生事件、社会安全事件。 视频数据作为物联网视觉感知的重要来源，在公共安全领域发挥着越来越重要的作用。而视频结构化描述是针对非结构化视频数据的深入应用，使得视频数据成为可感知，可描述的智能型数据。因此其应用领域极为广泛，就公共安全来说，视频结构化描述几乎渗透到公共安全的方方面面。

　　4 视频智能分析

　　视频结构化描述是针对视频内容的智能结构化分析，将非结构化的视频数据进过智能分析形成可供描述的结构化数据，因此视频智能化分析是视频结构化的核心技术。智能视频分析技术质量的优劣对视频结构化描述影响巨大，为了能更好地进行视频结构化分析，智能视频分析必须向如下三个方向进行创新：一、视频前期处理技术，主要包括图像防抖动和图像增强。视频抖动主要成因是道路监控中高架安装方式带来的较高频率的小幅抖动，视频防抖动能有效抑制智能分析中的误报和漏报，提高智能分析的准确率；图像增强是对视频源进行视觉改善处理，有效改善画质，提高图像的清晰度，使原本低质量的图像达到清晰可辨程度。二、提升分析准确率技术。如人脸识别技术从最初的特征脸方法过渡到神经元网络方法，由可见光人脸识别到多源光人脸识别。同理，车辆和行为的智能分析也出现了更高效的分析技术。三、视频后期处理技术，主要包括图像复原和图像摘要检索等。图像复原就是综合利用超分辨率、去模糊滤波、变形矫正、色彩调整等对模糊视频进行处理，使之清晰可辨。

　　5 视频结构化需要突破瓶颈

　　海量的视频图像数据是公共安全部门信息化建设中积累的重要数据，通过对视频内容的分析和处理，快速准确的发现有效线索，能够充分发挥视频资源的作用。然而，在公安信息化建设深入开展的背景下，现有视频资源缺乏深度应用的模式。其应用的瓶颈是视频信息如何高效提取，如何同其他信息系统进行标准数据交换、互联互通及语义互操作。解决这一问题的核心技术即是视频结构化描述的技术。但是作为一项视频处理的核心技术，其实现上仍有部分瓶颈需要突破，首先是视频结构化核心算法技术的突破。如上文所述，视频结构化描述技术与视频智能分析技术息息相关，但是当下视频智能分析技术受到各种应用环境的制约，以人脸识别为例，当下的人脸识别多半是配合式、重复式应用场景，在这种应用场景下，人脸的识别率基本能达到实用要求，而在无配合、多人脸、动态视频的场景下就很难达到实用目标。

　　为了解决这类问题，人脸识别的算法也从最初的模式识别进化到深度的神经元网络学习模式，使得人脸检测和识别的准确度大大地提高，但是由此带来的负面效应也相当明显，首当其冲的就是运算复杂度的提升，需要耗费大量的计算资源，针对这一瓶颈很多业内公司推出了各种解决方案，如计算前端推移，后端借助GPU实现集群化计算等，所有的这些方向都为后续的视频结构化描述的实际应用做前瞻，实现高效精准的视频结构化描述技术成为今后一段时间各个算法研究机构的努力方向。其次是视频结构化描述数据存储，检索和应用技术，随着数据容量的快速增长，结构化视频描述也越来越具备“大数据”的4V特征。如何实现视频结构化数据的大容量、高效存储、高效检索以及快速实现数据应用，为最终用户提供高效灵活的服务，都将成为今后各大视频综合应用厂家面临的问题。

　　再次是顶层设计，构建标准体系。通过对视频结构化技术自身特点和应用模式的研究，建立有关视频结构化描述的标准体系模型，制定覆盖技术实现和应用系统的标准化体系，有步骤地制定相关标准，以规范技术研究和设备开发，指导系统建设、运行以及评估的各个方面，从源头上为视频信息情报化应用的全面展开打好基础。在这方面由全国安全防范报警系统标准化技术委员会（SAC/TC100）归口并组织起草的国家标准GB/T30147-2013《安防监控视频实时智能分析设备技术要求》和GB/T30148-2013《安全防范报警设备电磁兼容抗扰度要求和试验方法》，经过国家标准管理委员会发布，已于2014年8月1日起实施。这些标准的制定，为视频结构化描述建立共同遵守的规则和行为规范，使视频结构化大规模应用成为可能。

　　最后是视频结构化数据应用大平台建设，随着视频结构化技术的日趋成熟，如何采集和管理这些巨量的视频结构化描述数据，如何面向公共安全部门提供快速、高效、专业、个性化的服务也是摆在服务商与业主面前的难题。例如许多厂家采用“云”和“大数据”框架模型做视频结构化描述技术的平台架构来满足大数据量的数据存储、生命周期管理以及数据的快速响应。

　　6 视频结构化描述技术发展前景

　　视频结构化描述技术紧紧贴合视频内容的分析、提取，将非结构化视频数据处理成可供快速检索定位的信息化数据。随着视频结构化描述技术的发展和成熟，必然为视频数据的信息化、情报化、智能化提供强有力的支撑，变视频的被动防御为主动识别，使相应的系统成为智能，主动式防控系统成为可能，从而打通系统间视频情报传递、打通从前端采集到后端情报化应用。随着近年视频系统的建设，社会上已经存在巨量的视频数据并且仍然在实时地产生大量的视频数据，所有的这些都为视频结构化描述技术提供了广阔的市场前景。