智能监控视频分析：基础技术尤为重要

1. 概述

监控视频技术经历了模拟时代，进入了数字化时代。在数字化监控的进程中，目前正处在从数字化、网络化、高清化向智能化的发展过程中。其中智能化的监控视频分析是当前重点发展方向之一，人们希望通过智能分析取代大量繁重的人工对监控视频内容的察看、分析和总结。

智能化涉及到对监控视频图像的种种处理，从技术的层面上大致可以分为三个层次：注重于像素或像块的视频图像处理，注重于图像特征和目标的视频图像分析，注重于图像内容语义的智能分析。用通俗的话说，监控视频图像处理的目标是“看清楚”监控的场景，包含去噪声、去模糊、去抖动、去雾霾、超分辨率重建、动态范围扩展等措施;监控视频图像分析的目标是“看明白”监控的对象，包含车牌识别、人脸识别、人流统计等方面;智能监控视频分析的目标是“看懂”监控场景内容的语义(semantics)，即给出人能够理解的分析结果，如这里发生了什么，这里有什么等。它包含多种智能分析技术，如行为识别、入侵检测、遗留物检测、群体行为识别、违规车辆检测等方面。

在这三个层次中，显然智能监控视频分析是我们最终的目标，替代人工对视频监控内容的观察、分析和判断，甚至比我们人类在某些方面更加准确和快捷。但是，要达到这一目标，必须向智能分析系统提供尽可能清楚的视频图像，尽可能准确的目标划分和识别的结果，我们将这些技术称之为智能视频分析的基础技术，即视频图像处理和分析。如果所提供的图像达不到这样的要求，则很难指望智能分析系统会获得正确的分析结果。因此，我们说智能视频分析固然重要，智能分析的具体方法固然重要，但是提供优质视频图像的基础技术在当前视频分析智能化的起始发展阶段尤为重要。

目前从应用的角度看，智能视频分析虽然取得了长足的进展，但仍然有太多的内容需要研究和开发，智能视频分析技术尚处于视频处理和视频分析的“初级阶段”，这一部分是当下实际应用场合中重点关注的内容。基础的监控视频处理和分析技术包含很多的方面，除了经典的视频处理技术如图像增强、图像去噪等技术外，目前大家较为关注的主要有图像去雾，动态范围扩展，超分辨率重建，车牌识别，人脸识别，……，等多项技术。下面以在视频监控行业小有名气的VAIS(Video Analysis Instrument System)——迅通视频图像分析系统为例，着重介绍视频图像处理和视频图像分析这两方面的基础处理技术。

2. 视频图像处理

2.1 去雾增透处理

由于大气散射作用，雾天天气条件下获取的视频图像较为模糊，严重地影响着图像的视觉效果。其原因主要在于目标光线在传播过程中遭到雾气的衰减而导致了图像细节的丢失，清晰度不够;周围环境光的参与造成了图像颜色的失真，色调平淡。

为了改善这类雾天图像，可采取视频去雾增透技术(简称透雾技术)，将因雾气和灰尘等导致朦胧不清的图像变得清晰，发掘出更多的图像所包含的信息，为下一步对图像的智能分析应用提供良好的条件。

目前的透雾处理方法主要分为两类：雾天图像增强和雾天图像复原。雾天图像增强方法现对比较简单，它不考虑图像降质原因，只针对图像的色彩进行处理，能有效地提高雾天图像的对比度，突出图像的细节，改善图像的视觉效果，但可能会造成一定的信息损失。

雾天图像复原针对雾天图像质量退化的机理，建立雾气图像退化模型，然后用图像复原的方法，对雾天退化图像进行复原，补偿退化过程造成的失真，获得对无雾图像的最优估计，从而改善雾天图像质量。这种方法针对性强，得到的去雾效果自然，信息损失小，处理的关键是模型中参数的估计。图1为VAIS系统采用基于物理模型的快速实时去雾方法对雾天图像增透处理的一例。

(a) 透雾处理前 (b) 透雾处理后

图1 透雾处理效果对比

2.2 超分辨率重建

随着人们对监控图像质量的要求越来越高，提升监控图像的分辨率已经成为整个安防行业的一项迫切要求。提高图像分辨率最直接的办法就是提高采集设备(如摄像机)的传感器密度。

但是，一方面高密度的图像传感器的价格相对昂贵，在一般应用中难以承受;另一方面，由于成像系统受其传感器阵列密度的限制，目前已接近极限。

在这样的情况下，解决这一问题的一个有效途径是就采用基于信号处理的软件方法对图像的空间分辨率进行提高，即超分辨率(SR：Super-Resolution)图像重建，将采集到的低分辨率图像通过一定算法重建为高分辨率图像。

VAIS的SR重建的核心方法是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换，使得重建图像的视觉效果超过任何一帧低分辨率图像。

图2出示了一幅低分辨率视频图像经过超分辨率重建以后形成的高分辨率图像的前后对比。

(a) 原始低分辨率图像 (b) 重建后的高分辨率图像

图2 超分辨率图像重建对比

2.3 动态范围扩展

在不少视频监控场合，常常会由于光线的原因产生彩色(亮度)动态范围偏离的图像，出现整体或局部的“曝光”不足或“曝光”过度。对这类视频图像的处理主要是纠正彩色动态范围的偏离，包括两个方面：对背光图像的处理和对暗光(如夜晚场景)图像的处理。

(1)暗光图像的处理

夜晚场景下采集的图像由于光照强度不足，导致图像亮度及对比度降低，丢失颜色等细节信息，增加了图像的噪声，从而降低了图像质量，严重影响了图像的使用和进一步的智能分析处理。目前比较流行的暗光图像处理的方法是Retinex算法，从给定的图像中分离出亮度图像和反射图像，在彩色恒定的条件下，通过改变亮度图像和反射图像在原图像中的比例来达到增强暗光图像的目的。但这种方法的计算量非常大，很难应用于实时处理。为此VAIS系统通过统计分析后发现反转后的暗光图像与雾天图像具有类似的统计特征，在此基础上设计了一种新的基于图像去雾法的扩展图像动态范围的快速算法，对反转的暗光图像进行处理，处理完毕再进行翻转就成为扩展了动态范围的图像。图3为暗光图像动态范围扩展的一例，图像的动态范围的改善和Retinex算法相当，但处理速度很快，能够满足实时应用的要求。

(a) 暗光处理前 (b) 暗光处理后

图3 暗光处理效果对比

(2)背光图像的处理

在视频采集过程中，如果摄像机正对光源，这部分非常亮，而场景中的目标物体比光源暗得多，由于摄像机的动态范围的限制，从而导致目标区域的亮度非常暗，看不清细节，这就是所谓的背光现象。很明显，背光图像补偿处理的关键就在于提高目标区域的亮度，降低光源部分的亮度，同时保证整幅图像自然过渡的平滑特性。VAIS系统对背光图像采用类似暗光图像处理的方法，即基于图像去雾法的方法来处理背光图像的。背光补偿前后效果对比的一个实例如图4所示。

(a) 背光补偿前 (b) 背光补偿后

图4 背光处理效果对比

3. 视频图像分析

3.1 人脸识别

基于图像处理的人脸识别技术大体上可分两类，一类是合作型人脸识别，就是大家常见的用于考勤、门禁、会议签到等场合的身份识别方式，目前这一类技术已比较成熟;另一类则是非合作型人脸检测和识别技术，最典型的就是监控视频中目标人物的脸部检测与识别，这一类技术还不够完善，还有许多问题有待解决。

目前，在监控视频的应用中，大部分是非合作方式的人脸检测和识别，由于无法得到目标人员的配合，再加上各种不利环境因素的影响，使得视频中人脸图像的精度不高、面部模糊、角度变化大，从而导致很难做高精度的人脸检测和人脸识别。

VASI系统关注的就是非合作型的这一类人脸识别技术，致力于在小样本库的人脸识别中的算法优化，因而具有较高的人脸检测和识别率。VAIS系统将视频场景内捕获并检测到的所有人脸图像传送至VAIS的人脸识别部分，采用WSR与LCR算法对模糊人脸进行重建后，然后将他们与VAIS系统数据库的人脸数据进行多次比对，筛选出最接近的一个或多个人脸数据，供使用者进行目标身份确认，或者起到对使用者一个提示、警示的作用，提醒使用者进行进一步的身份核实。这种人脸识别方式在不少场合是非常有用的，如酒店、银行、机场、码头、海关等处的VIP或黑名单用户的初步识别与提示等。

3.2 车牌识别

车牌识别技术主要包括两类，一类是相对静止的卡口车牌识别，另一类是车辆处于运动状态的车牌识别。

对于停车场卡口类的车牌识别，由于车辆的静止或速度较慢，再加上车辆对检测的配合，因而相对容易，识别率也很高。VAIS系统对此类车牌识别，只要摄像机捕获的车牌图片宽度达到30个像素以上，就能准确识别出车牌号码，准确率几乎为百分之百。

对于行驶中车辆的牌照识别，如道路上车辆、甚至是逃逸的车辆等，由于复杂的环境、高速的运动、其他车辆的遮挡等不利因素存在，大大增加了车牌分割和车号识别的技术难度。VAIS系统在这种情况下利用监控场景中目标之间存在的关联和约束，能够以比较高的准确率识别出大部分模糊车牌号码。目前VAIS已多次成功协助公安部门从车牌识别入手快速侦破不同程度的棘手案件。今后随着VAIS模糊车牌自动识别技术的不断完善，车牌识别准确率还将不断提高。

4. 结语

在智能监控视频分析技术飞速发展的过程中，当我们遇到困难或出现差错时，往往问题的源头还是在提供给智能分析系统的图像本身的质量不佳，如图像不清晰，目标划分不准确，图像内容暗淡等，所以，加强视频图像的处理和初步分析，是获得智能视频分析的准确结果的最为关键的必要条件之一。

以上我们简单介绍了几项重要的视频图像处理和分析技术，包括图像透雾处理、暗光图像和背光图像的均衡处理，人脸的检测和识别技术，车牌的检测和识别技术等，这些都是VAIS智能视频分析系统所具备的基本功能，在实际应用中已经取得了良好的成绩。除了上面介绍的几种特殊的视频处理方法外，还有多种其它的预处理方法，例如感兴趣区域的处理，防抖动处理，动态目标锁定处理，对该目标进行跟踪和增析处理。

只有打牢了视频处理和分析的基础，才有可能在此基础上进行智能视频分析，VAIS朝这一方向努力正在进行中，结合海量视频数据(大数据)的挖掘，采用人工智能中的机器学习方法，尤其是结语人工神经网络的深度学习方法，正在将一步一步地提高智能监控视频分析的速度和准确性，一步一步地推向实用。

更多内容：物联网