子镜头分割在时空域视频运动片段分割中的应用

2023-11-23 理论教育版权反馈

【摘要】：镜头的视觉内容通常不能完全用单个关键帧来表示。复合镜头可以包括多个较小的时间片段，将复合镜头分割成小的时间片段可以为用户提供直观的基于关键帧的浏览，而不会丢失镜头内片段的时间顺序。关键帧可以通过为这个镜头选择2组关键帧解决，一组描绘人物A，一组描绘人物B，这2组关键帧代表整个镜头。

1.子镜头分割的定义

镜头不一定是帧级以上最有意义的结构单元。相机运动、物体运动或者镜头中的其他变化可能在单次拍摄中产生相当大的视觉内容变化。电影制作者可以在一个镜头中显示多个事件，设置不同的部分或更改目标对象，这种镜头称为复合镜头。针对复合镜头，我们主要有两大类的问题需要解决。

（1）关键帧的选择。镜头的视觉内容通常不能完全用单个关键帧来表示。我们需要通过一种关键帧选择技术找到一组合适的关键帧适当地表示镜头。

（2）时域分割。复合镜头可以包括多个较小的时间片段，将复合镜头分割成小的时间片段可以为用户提供直观的基于关键帧的浏览，而不会丢失镜头内片段的时间顺序。其对检索有用信息，以及精确地描述一个镜头或者一个片段是有帮助的。因此，我们需要将镜头自动分割成合适的短时间片段，即子镜头片段。(www.chuimin.cn)

我们想象一个视频镜头，开始时镜头拍摄人物A，然后相机移动到人物B并再次返回到人物A，这样我们就能更加清晰地理解关键帧与时域分割两者的不同。关键帧可以通过为这个镜头选择2组关键帧解决，一组描绘人物A，一组描绘人物B，这2组关键帧代表整个镜头。而时域分割是将镜头分割成多个更小的时间片段，且这些时间片段是具有时间顺序的，将镜头分割为3个部分，即A、B和又一次A。

2.子镜头分割算法

因为视频中含有背景变化较为频繁、内容较为复杂的镜头，所以我们将镜头再次分割成背景和内容尽量单一的子镜头，这更加有利于视频的分析和理解。由于子镜头分割是在镜头内进行的再次分割，镜头分割算法无法得到理想的结果。同时，常规的聚类分类算法也不能直接使用，因为它们忽略了镜头的有序性[19]。因此文献[19]提到了一种基于双阈值滑动窗口子镜头分割和完全连通图的关键帧提取方法。该方法基于双阈值的镜头分割算法，通过设置双阈值滑动窗口判断镜头的突变边界和渐变边界，从而划分镜头，并基于滑动窗口的子镜头分割算法，通过给视频帧序列加一个滑动窗口，在窗口的范围内利用帧差来对镜头进行再划分，得到子镜头。

子镜头分割在时空域视频运动片段分割中的应用

相关推荐