张云佐，李汶轩，郭亚宁，王 蕾，崔世强
（石家庄铁道大学 信息科学与技术学院，河北 石家庄 050043）
近年来，视频监控技术广泛应用于社会生产生活的各个方面，交通路口、银行、以及各种销售场所等都安装了监控摄像头，视频数据量呈现爆炸式增长，面对如此庞大的数据，结合智能算法分析的智能视频监控成为未来发展的必然趋势[1]，如何实现海量监控视频的快速浏览，以及在海量视频中快速检索出需要的视频资料进行分析和处理，已经成为急需解决的问题[2]。监控视频智能分析技术应运而生，如监控视频分割技术[3-4]，视频运动目标检测和提取技术[5-6]，视频摘要技术[7-8]等。
视频分割算法可以归类为空间分割和时域分割两种。空间分割是一种静态分割，只对单幅图像进行操作；
时域分割一般是运动分割，利用序列图片中像素点的差值进行判断。视频时域分割是实现视频分析的基础和前提。在视频分析中，通常将镜头作为视频分析和处理的基本单元。视频镜头是由同一摄像机连续摄取的一系列相互关联的帧，代表了一个连续的动作。不同于以往的传统视频，监控视频是由固定安装的摄像机拍摄的连续图像序列，通常全天进行拍摄，故在监控视频中并没有传统意义上的镜头的概念。
目前，已有大量学者对监控视频时域分割进行了研究，其最为主要的就是对监控视频的运动片段进行提取，提取方法主要分为三大类，第一类是基于图像帧之间的特征差异[9-10]，通过比较相邻帧之间特征差异的大小来判断运动的存在与否，也是使用最为广泛的一类，第二类是基于前景目标提取的方法[11-12]，通过计算运动目标占整个帧的比例大小来判断，第三类是在压缩域中[13]，通过判断帧运动活动量来得到运动片段。但是以上算法大都是只研究了运动片段的提取，对于运动片段以下单位研究较少。为此本文根据普通视频的层次结构以及监控视频固有特点定义了监控视频的时域层次结构，并对第一类基于特征差异的运动片段分割方法进行验证与分析，选取特征主要有像素点特征、边缘特征以及分块直方图特征。
1.1 视频层次结构
视频的本质是一系列在时间上连续的图像帧，视频结构化就是对非结构化的图像流进行处理，使之成为结构化的数据，即在时域上将视频划分为有意义的时间单元，一般可分为视频、场景、镜头、子镜头和帧五个层次单元，其层次结构图如图1所示。视频的时域分割就是按照其层次结构，识别并提取出时间单元的边界，最终将视频分割成不同的时间单元。
图1 视频层次结构示意图Fig.1 video hierarchy diagram
（1）视频：视频层次结构中最高层次的结构，是整个待处理视频，通常包含视频的整体信息；
（2）场景：视频层次中的高级语义单元，是由连续的、语义相关的视频镜头组成的；
（3）镜头：由同一摄像机连续拍摄的一组图像帧组成的集合，是视频的基本时间单元，也是视频最基本的语义单元，镜头的转换类型一般分为镜头突变和镜头渐变，而镜头渐变又可分为淡入淡出、溶解和扫换三种；
（4）子镜头：通常由时间上内容上连续的帧组成，是镜头以下的时间单元，一般几个子镜头可以构成一个镜头；
（5）帧：是视频结构层次中最小的单位[14]，通常是指一幅静态的图像。
1.2 监控视频层次结构
监控视频一般是用监控设备所拍摄的，由于拍摄者、拍摄工具、拍摄内容和拍摄手段的限制，形成了不同于其他视频资料的一些显著特点，通常无镜头切换，含有大量冗余信息且观众一般为固定群体[13]，而观众往往只关注视频中含有运动目标的片段。故本文将含有运动目标的视频片段定义为运动片段，不含运动目标的片段为静止片段。而一个运动片段中可能包含多个情节，故定义一个情节属于一个子运动片段。因此，本文将监控视频分为监控视频、运动片段、子运动片段和帧四个层次。片段监控视频层次结构图如图2所示。
图2 监控视频层次结构图Fig.2 surveillance video hierarchy diagram
2.1 基于像素差异的运动片段分割
基于像素差异的运动片段分割算法的原理是运动片段中相邻图像帧之间的像素点一定会有一定的差异，即运动片段中相邻帧之间的像素差异大于一定的阈值，而静止片段中相邻帧之间的差异小于该阈值。该算法首先是计算相邻两帧i和i+ 1 的图像差得到差值图像diff：
式（1）中 Ik(i, j)为第k帧i行j列的像素值，Ik+1(i, j )为第k+1帧i行j列的像素值。对差值图像diff先后进行灰度化和二值化处理，统计二值化处理后图像中白色像素点的数目 n，最后取 n大于阈值的片段为运动片段。
在上述算法中会由于图像中树叶的晃动等背景的微小改变可能会使相邻帧像素差异大于设定阈值造成误检，因此Liu等人[15]利用行、列像素和的差值来判断帧间差异大小。设每帧图像的大小为m×n，代表帧像素的矩阵：
式（2）中 k代表监控视频的第 k帧，i, j代表该帧的第i行、第j列像素值。计算第k帧每一列的和得到行向量kC ：
计算第k帧每一行的和得到行向量kR：
当Dc大于设定阈值或者DR大于设定阈值时，认为这两帧为运动片段，否则视为静止片段。
2.2 基于边缘特征的运动片段分割
基于边缘特征的运动片段分割算法原理是运动片段中相邻两帧之间的边缘特征具有一定的差异，运动片段中相邻帧之间的边缘距离较远[16]，当相邻帧边缘差异值大于设定阈值时，即被认作为运动片段。该算法首先将相邻两帧图像做差得到差值图像diff，差值图像进行Canny边缘检测，得到差值图像边缘的数目 n ( k, k + 1 )与阈值 q进行比较，最后得到监控视频运动片段：
经治疗，观察组患者Hp转阴率为93.33%（42/45），高于对照组患者51.11%（23/45），差异具有统计学意义（P＜0.05）。见表2。
式（7）中 f( k)为视频的标志，如果值为1，则第k帧为运动片段。
2.3 基于分块直方图的运动片段分割
基于直方图的运动片段分割算法是计算相邻帧之间直方图差异与设定阈值进行比较来得到运动片段，由于整体灰度直方图缺少图像像素的位置信息，故而出现了分块直方图[17]的概念，基于分块灰度直方图的运动片段分割算法是将相邻帧之间的差值图像diff分成8× 8的小块，如图 3所示。利用相邻帧之间各个小图像块之间的相似度来判断运动片段。
图3 帧分块示意图Fig.3 frame block diagram
将差值图像各个图像小块依次进行灰度化处理，将灰度图像中小于一定阈值的像素点灰度值设为 0，大于阈值的像素点灰度值不变，这样做的目的是为了消除监控视频中背景的抖动，树叶摇晃等引起误差的背景像素点，得到阈值处理过的差值灰度图像diff1。计算diff1每一小块的灰度直方图，用表示，其中i, j表示第i行、j列的图像块，k表示第k帧，t表示灰度。然后计算分块的灰度直方图和一个相同大小的像素值全为0的分块进行直方图的相似度。分别用相关系数、卡方系数、相交系数和巴氏系数四个标准判断相似性。用相似度与设定阈值进行比较，从而判断运动片段。
a）相关系数。相关系数越高，则相似性越高，为运动片段的可能性越小，数值最大是 1，最小是0，相关系数计算公式如式（8）～（10）所示：
其中，h0表示灰度值全为0的图像块的灰度直方图，N为图像块中灰度种类数。
（1）卡方系数。数值越小，则相似度的相关度越高，为运动片段的可能性越小，最大值为正无穷，最小为0。卡方系数计算公式为：
（2）相交系数。数值越大，则相似度的相关度越高，为运动片段的可能性越小，数值最大是9.455319，最小是0。相交系数计算公式为：
（3）巴氏系数。数值越小，则相似度的相关度越高，为运动片段的可能性越小，数值最大是1，最小是0。巴氏系数计算公式为：
本文实验的软件环境为vs2017和opencv，分别选取了目标单一（video1、video2）和目标复杂的两种视频共4个视频序列（video3、video4）进行实验。
图4～6分别为像素差异法、边缘特征法和分块直方图法对video1进行分割，得到第一个运动片段的首尾帧。
图4 像素差异法检测到video1第一个运动片段的首尾帧Fig.4 the pixel difference method detected the first and last frames of the first motion segment of video1
图5 边缘特征法检测到video1第一个运动片段的首尾帧Fig.5 the edge feature method detected the first and last frames of the first motion segment of video1
图6 分块直方图法检测到video1第一个运动片段的首尾帧Fig.6 block histogram method detected the first and last frames of the first motion segment of video1
图7～9分别为像素差异法、边缘特征法和分块直方图对video2进行分割，得到第三个运动片段的首尾帧。
图7 像素差异法检测到video2第三个运动片段的首尾帧Fig.7 the pixel difference method detected the first and last frames of the third motion segment of video2
图8 边缘特征法检测到video2第三个运动片段的首尾帧Fig.8 the edge feature method detected the first and last frames of the third motion segment of video2
图9 分块直方图法检测到video2第三个运动片段的首尾帧Fig.9 block histogram method detected the first and last frames of the third motion segment of video2
表1为4个视频序列的原始信息表。表2～4分别是文中三种算法对4段视频的分割结果。
表1 视频序列基本信息Tab.1 basic information of video sequence
表2 像素差异法运动片段分割结果Tab.2 segmentation results of motion segments by pixel difference method
从运行时间上来看，对于不同视频序列来说，监控视频中运动片段帧数越多，其运动时间越长；
对于同一个视频序列来说，像素差异法的运行时间最短，边缘特征法次之，分块直方图差异法用时最长。从查准率上看，对于video1和video2单一目标的视频来说，像素差异法和分块直方图法的准确率相等，都优于边缘特征法，而对于video3和video4中具有多个目标的视频序列来说，分块直方图法检测到误检片段个数都为 0，且漏检数量较少，因此分块直方图法的分割效果最好。由此，可得到结论，分块直方图法的分割效果最好，但耗时长，像素差异法的分割效果视目标数目而定，且耗时较短，边缘特征法的分割效果是3中算法中最不理想的。在实际的生产生活中，可以根据需要选择适合的分割方法。
表3 边缘特征法运动片段分割结果Tab.3 segmentation results of motion segments by edge feature method
表4 分块直方图法运动片段分割结果Tab.4 segmentation results of motion segments by block histogram method
监控视频运动片段分割尚未出现较为成熟的分割算法，本文算法逐帧进行对比，且每帧都需要对所有像素点进行计算分析，故算法时间复杂度较高，且三种算法都需要设置一个或多个阈值来进行比较，就出现不同的视频序列所适用的阈值不同，使阈值选取不便。在监控视频中如果雨天、雪天、天气之间的转变以及背景与目标颜色相近等都会对分割结果的准确性造成影响，以及目标的运动速度较小难以被检测到等都是本领域在研究过程中需要解决的难点。
本文中的算法都只是采用了视频的单一特征，有学者提出使用视频的多特征融合进行分析和分割，取得了较为理想的效果。现如今，5G时代即将来临，可以将 5G技术应用到监控视频运动片段分割中，利用其快速的网络传播速度和算法，来实现监控视频运动片段的实时分割。人工智能技术飞速发展，已应用到生产生活的各个方面，如何将人工智能技术应用到监控视频时域分割中，也是一个值得深入研究的问题。
猜你喜欢分块直方图灰度航空滤光片阵列多光谱图像条带灰度调整算法兵器装备工程学报(2022年8期)2022-09-13面向量化分块压缩感知的区域层次化预测编码北京航空航天大学学报(2022年8期)2022-08-31采用改进导重法的拓扑结构灰度单元过滤技术北京航空航天大学学报(2022年6期)2022-07-02钢结构工程分块滑移安装施工方法探讨房地产导刊(2022年4期)2022-04-19天津港智慧工作平台灰度发布系统和流程设计集装箱化(2021年1期)2021-04-12ADC直方图分析在颈部淋巴结转移性鳞癌鉴别诊断中的价值现代临床医学(2021年2期)2021-03-29基于差分隐私的高精度直方图发布方法计算机应用(2020年11期)2020-11-30一种面向不等尺寸分块海量数据集的并行体绘制算法计算机应用与软件(2020年5期)2020-05-16Arduino小车巡线程序的灰度阈值优化方案中国信息技术教育(2020年2期)2020-02-02分块矩阵初等变换的妙用新生代·下半月(2019年5期)2019-09-10