视频摘要

3 关键帧的提取方法与源自文库试
3.1 加权初步提取
颜色直方图V表示图像帧的颜色特 征。 S表示对象间的相似度。 Sij为第i帧第j块的相似度 M权重因子 Sij = |Vij – V1j|
Si SijMj / 36
j 1
16
3.2 通道分离精确提取
对于输入的每一幅参考帧图像和待 定帧图像，利用OpenCV 中的 cvSplit函数将RGB格式的图像 分离为R、G、B三个通道的图 像bImg、gImg、rImg。然后分 别对三个颜色通道的相似度进 行对比，若三个通道相似度都 在阈值内，则与参考类为一类， 否则为下一类。
dt ( x, y) | It ( x, y) Bt ( x, y) | 0, dt( x, y) T dt( x, y) 1, dt( x, y) T
大于T的部分确定运动对象部分，否则为背景部分
2.3 基于KalMan预测的运动对象跟踪

首先采用KalMan滤波算法预测下一帧图像的位置，得到 的预测对象矩形框的中心点坐标，然后计算与实际检测到 的对象矩形框中心坐标之间的二维距离，若距离小于阈值， 则认为匹配成功，若匹配不成功，则认为原对象消失，并 对新的对象进行跟踪，对每一个跟踪的运动对象都加上时 间戳存入对象数据库
1.
6.
7.
取出下一个时间段内的背景图像帧及该时间段内扣取的 对象进行放置，方法同上，直至放完 将合成后的所有图像帧组合起来，形成最终的视频摘要
上式为第i个高斯模型的概率密度函数
2.2 背景减除检测运动对象

通过背景建模的方法生成背景图像模型，再将得到的差分 图像灰度值与阈值对比，大于阈值的部分即确定为运动对 象部分，否则为背景部分。
通过背景建模可以得到t时刻的背景图像模型Bt,则当前帧图像It与背景图 像在(x,y)点处的灰度值差分结果为：
Sir,Sig,Sib分别表示R,G,B三个通道对应的相似度，ar,ag,ab为所设定的 相似度的阈值

将一类的图像帧 V 1 ~ Vi，取所有帧的平均值 ，将与平均 V 值差值最小的帧作为关键帧，删除其余帧，以减少图像冗 余
V Vj / i
j 1
i
4 运动对象扣取与摘要的合成
取出第一个时间段内得到的背景图像帧 2. 将此时间段内扣取的所有运动对象按时间顺序在背景图 像的对应位置进行放置并编号 3. 将一帧图像中相互重叠的对象部分进行半透明化处理 4. 当一帧图像中放置的对象数目大于一定阈值时停止放置 5. 复制背景图像帧继续放置对象直至放完
G G G
K
12 K 22
K m2
2n (此矩阵为m n矩阵) K G mn
G G
K
1n K
A为1 m列矩阵） A 1...1 （
1 1 B . ( B为n 1矩阵) . 1
m m m m C K A G K Gi1K , Gi 2 K , Gi 3 K ,...., Gin K (1 n矩阵). i 1 i 1 i 1 i 1 n n n K K K R G B G 1 j , G 2 j ,...., Gmj ( m 1矩阵) j 1 j 1 j 1
基于对象和关键帧相结合的监控视频摘要 技术
分类，初步提取 精确提取
1. 运动片段提取

采用相邻帧对比的方法对相邻两帧进行对比。 如果两帧之间变化超过设定的阈值，则认定有运动对象 出现,即提取为运动片段。 否则作为非运动片段舍弃掉，减少冗余的视频
G
K
K G11 GK 21 K G m1
T K
K
Cd (| C K 1 C K |) Rd (| R K 1 R K |)
C C B R A R
d
C T || R T (T 和T
C R C
R为预先设定的值
)
d
2. 1背景的提取

采用定时提取背景模型的方式，将视频时间均匀的分为N 个时间段，对每个时间段内的图像帧采用混合高斯模型的 方法生成背景模型，加上时间戳信息存入背景数据库。