按照镜头之间的转换也不同,主要分为突变(切变)和渐变,对于镜头边界检测,主要的工作就是找出视频中的突变和渐变变化。
1 相关工作
镜头边界检测算法主要有直方图法、模板匹配法、基于边缘的方法和基于模型的方法等4种。直方图法使用像素亮度和色彩的统计值,不考虑像素的位置信息,抗噪声能力较强,但有时会漏掉场景切换。模板匹配法严格地区分像素的位置,对噪声、镜头和物体的运动非常敏感,容易导致错误的场景切换检测。基于边缘方法的基本思想是在镜头发生切换时新边缘应远离旧边缘的位置,旧边缘消失的位置也应远离新边缘的位置。上述3种方法都是通过计算帧间差进行镜头边界检测的,对于突变检测可取得较好的效果,但对渐变检测则存在一定的困难,这些方法在很大程度上忽略了渐变切换中帧间结构上的相关性。而基于模型的方法则是利用对镜头编辑的先验知识,对各种镜头切换建立一定的数据模型进行镜头切换的检测,因此对镜头渐变的检测能取得较好的效果。本文的算法就是一种基于模型的方法。
2 镜头分割算法
2.1 切变检测
本算法根据相邻帧图像变化和不相似性确定切变,相邻帧的变化属于图像检索的范围,本算法中采用了颜色局部累积直方图与纹理相结合的方法。在一般情况下可通过将不相似值与一个阈值进行比较来做出判断,而基于“滑动窗口”的方法可以克服了不相似值不仅与帧间差有关,而且与成像亮度也有关的问题。
首先定义一个时间长度为2R+l的窗口,使需检测的帧位于窗口正中。然后根据下式计算前后两帧间的差异: