视频中的主持人帧识别

实验名称：互信息应用学院：自动化学院班级：09030702学号：2007302171姓名：马志强关于寻找视频中主持人帧的模式识别——欧式距离与互信息在图像模式识别中的比较自动化学院信息工程 09030702 2007302171 马志强摘要：文章首先介绍了对视频中帧的采集，收集之后进行处理，分别使用欧式距离方法与互信息方法实现受访帧与模板帧的匹配，最终得出受访帧是否为所要求的主持人帧，然后对两种方法进行比，获得更好的匹配手段。

关键字：欧式距离，互信息，图像分析，模式识别，模糊背景匹配，主持人帧检测。

0引言：《走近科学》是一档观众喜闻乐见的科普新闻节目，许多民间神秘而情节起伏跌宕的故事通过科学的分析，得到了彻底的解释。

该节目的亮点之一在于节目中将谜团层层揭开，引导观众获悉神秘背后的真相，节目时间为22分钟左右，而对于只希望获得主要的线索而不着重于丰富的节目花絮的观众来说，获取节目中的梗概信息就显得尤为重要，正巧节目中的有效信息都是通过主持人发布，根据这一特点，获取主持人帧，从而缩短获得信息的时间。

针对此问题的提出和解决，进行试验，记录论文如下。

1.1欧式距离:也称欧几里得距离，它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。

在二维和三维空间中的欧式距离的就是两点之间的距离，二维的公式是d = sqrt((x1-x2)^2+(y1-y2)^2)三维的公式是d=sqrt((x1-x2)^2+(y1-y2)^2+(z1-z2)^2)推广到n维空间，欧式距离的公式是d=sqrt( ∑(xi1-xi2)^2 ) 这里i=1,2..nxi1表示第一个点的第i维坐标,xi2表示第二个点的第i维坐标n维欧氏空间是一个点集,它的每个点可以表示为(x(1),x(2),...x(n)),其中x(i)(i=1, 2...n)是实数,称为x的第i个坐标,两个点x和y=(y(1),y(2)...y(n))之间的距离d(x,y)定义为上面的公式.在本例中，欧式距离用来衡量受访的帧与模板帧的相似程度。

1.2互信息：互信息(Mutual Information)是信息论里一种有用的信息度量，它是指两个事件集合之间的相关性。

两个事件X和Y的互信息定义为：I(X,Y) = H(X) + H(Y) - H(X,Y)其中 H(X,Y) 是联合熵(Joint Entropy)，其定义为：H(X,Y) = - ∑ p(x,y)logp(x,y)在本例中，互信息作为衡量受访的帧与模板帧的数值信息。

1.3实验中的欧式距离与互信息：实验中具体涉及到将欧式距离与互信息应用到图像配准中，故利用Mat lab将真彩色图像转换成为对应N*M灰度像素图像而生成的N*M阶矩阵，对应每一个像素点都有一个1-255的像素值与之对应，调用欧拉距离或互信息的程序，计算出具体的欧拉距离与互信息的值，通过与事先设定的阈值比较获得符合要求的具体帧序。

在对图片收集后，需要将不是符合条件即非主持人帧排除，而收集只有出现了主持人的帧。

2实验过程：2.1获得图片集：实验中首先要解决的问题是将视频信息转换成为一个对应视频的帧序列，具体的解决方案有两个：利用Mat lab直接解决，达到高度的统一化；利用其它软件将视频分割。

在试图使用Mat lab解决该问题时，出现了很多棘手的情况。

就Mat lab而言，对读取的视频要求很高，只限于*.avi的三种无压缩的格式，这就造成了获取这种无压缩的视频文件仅能通过软件先行的转换，而结果是转换得到的22分钟的视频有20G左右的大小，如此庞大的数据，对于在我的古董机上运行的Mat lab是不可实现问题，即便我的工具允许我进行如此的运算，我也感觉这增添了实验的冗余，原因是，转换的目的是为了能够利用Mat lab实现统一运算，而为了实现这一目的要先行一步视频转换，这多少有些削足适履。

因此使用了方案的后者：我使用的工具是KMPlayer视频工具，具体操作就不做赘述。

获得的图片集根据视频，每6秒钟截取一帧，具体原因于实验结果处分析。

2.2处理图片：比对获得的图片与模板图片间的欧式距离和互信息值，进而比较阈值，获得满足条件的主持人帧。

具体程序附于报告最后。

2.3获得结果：处理好图片之后进行结果与实际情况分析，得出具体的实验结果。

3实验结果：3.1实验直接结果：对同样的一序列帧利用上述两种方案进行处理，将欧式距离法简写为EM，互信息法简写为HM。

获得如下的实验结果：关于提取主持人帧的实验结果：帧内容时间EM检测HM检测主持人开场0分0秒有有主持人介绍鬼打墙7分46秒有有主持人过渡9分0秒有有白色盛水盆10分9秒有无主持人出现11分28秒有有白色盛水盆12分10秒有无主持人出现12分40秒有有白色烟雾20分54秒有无主持人总结21分有有出错率30% 0%以上为攫取时间上统计的出错率，该组数据对统计的意义不是太大，原因在于视频帧的截取选定为每分钟10帧，从而并不寄希望于统计出准确的时间，而该实验真正需要统计的出错率需要从获取的符合条件帧数作出比较。

获得准确帧的统计结果：方法获得帧数准确帧数准确比率EM测试56 44 78.57%HM测试44 44 100%3.2结果分析：3.21EM方法的错误分析：在使用EM方法时，原理是比对受访图片与模板图片的比对区域各个点之间的像素差，当相似差累计到一定程度时，认为所访问的图片与模板有过大差异，进而认为其不是满足条件的主持人帧。

根据欧式距离公式获得的积累的像素差值的平方根值是判断两幅图像是否匹配的重要依据，所以该方法很大程度上对图片比对区域中的像素条件要求相对较低，例如EM方法中所误读出的图片的结果值是满足条件的。

图中红色方框内为EM方法误读的主持人帧与模板的匹配区域，在人眼观察的条件下，我们很容易区分出两张图片的异同，而利用EM方法就会产生错误的读取，原因在于EM方法的公式中，对图像像素的处理。

首先，截取位置相同的受访区域，转换成为灰度图像，用于与已是灰度图像的模板进行计算，而产生失误就是在于出错图片受访区域的本身特点。

为了获得出错信息的普遍特点，我们再看另外一张出错的帧：不难发现，在上图片的匹配区域，几乎全部是烟尘的信息，进而调用出程序中转换成为的数组信息发现白色的像素值是靠近1的，在利用EM公式时，由于模板的匹配区域也属于亮色，像素值较低，所以与匹配区是大范围白色的帧进行匹配时，容易得出错误的结果。

3.22验证EM方法出错习惯：将一张图片的匹配区域人为调整成为大部分为白色，如下图：将其加入到受访的数据图片中，运行程序，同样获得了该图片为主持人帧，验证成功。

3.23EM方法的缺陷：根据以上的分析，获得出针对此例，利用EM方法对模板的匹配区域要求比较高，若希望获得精准的匹配，需要增加模板的匹配区域，也就是背景更多的特点信息，比较直接的方法就是设置更多的匹配验证区域，以平衡出现的偶然误差。

3.24HM方法分析：HM方法是在信息论中援引的，可利用空间大的同时，在信息比对方面有更高的准确性，本例中对主持人帧的采集准确率达到100%，可见，根据灰度图像的互信息进行的图片匹配准确度是相当高的。

而与之做比较的欧式距离方法就显示出比较差的准确度。

3.25改进方向：本文提供了一种基于粗略背景匹配的方法，能够根据背景的特点匹配出具体帧序，可应用于新闻视频分析及检索系统。

下一步的方向是优化模板，针对不同内容的视频，尤其是新闻这一类特点特别明显的视频，进行更为精确的匹配。

4.实验中用到的Mat lab程序源码：4.1EM方法实现：%%批量处理图片文件picstr=dir('*.jpg');[row,col]=size(picstr);picgather=cell(row,1);for i=1:rowpicgather=imread(picstr(i).name);endj=0;%%计算欧式距离for i=2:row;imgA=imread(picstr(1).name);imgA=imgA(1:190,326:640);imgB=imread(picstr(i).name);imgB=imgB(1:190,326:640);diff = imgA - imgB;EulerDistance = sqrt( sum( diff(:).*diff(:) ) );eulerdistance(i-1)=EulerDistance;%%½«Âú×ããÐÖµµÄÖ¡ÐòºÅ±£Áôµ½Êý×ébÖÐif EulerDistance<1000;j=j+1;b(j)=i;endend%%排除部分误读的帧w=0;for i=1:j-1;if b(i+1)-b(i)==1;w=w+1;a(w)=b(i);endendc(1)=0;q=1;for i=1:w-1;if a(i+1)-a(i)~=1;q=q+1;%%转换为帧相应的出现时间c(q)=a(i+1)*1/10+0.1;endenddisp('主持人出现的时间');for i=1:q;c(i)end4.2HM方法实现：picstr=dir('*.jpg');[row,col]=size(picstr);picgather=cell(row,1);for i=1:rowpicgather=imread(picstr(i).name);end%%计算互信息q=0;for g=2:row;imgA=imread(picstr(1).name);a=imgA(1:190,326:640);imgB=imread(picstr(g).name);b=imgB(1:190,326:640);%mi = MI(a,b)%CaculateMI of a and b in the region of the overlap part %To calculate the overlapping regions[Ma,Na] = size(a);[Mb,Nb] = size(b);M=min(Ma,Mb);N=min(Na,Nb);hab= zeros(256,256);ha = zeros(1,256);hb= zeros(1,256);if max(max(a))~=min(min(a))a = (a-min(min(a)))/(max(max(a))-min(min(a)));elsea = zeros(M,N);endif max(max(b))-min(min(b))b = (b-min(min(b)))/(max(max(b))-min(min(b)));elseb = zeros(M,N);enda = double(int16(a*255))+1;b = double(int16(b*255))+1;for i=1:Mfor j=1:Nindexx= a(i,j);indexy= b(i,j) ;hab(indexx,indexy) = hab(indexx,indexy)+1;ha(indexx) = ha(indexx)+1;hb(indexy) = hb(indexy)+1;endendhsum= sum(sum(hab));index = find(hab~=0);p = hab/hsum;Hab= sum(sum(-p(index).*log(p(index))));hsum= sum(sum(ha));index = find(ha~=0);p = ha/hsum;Ha = sum(sum(-p(index).*log(p(index))));hsum= sum(sum(hb));index = find(hb~=0);p = hb/hsum;Hb= sum(sum(-p(index).*log(p(index))));%收录获得的主持人帧mi = Ha+Hb-Hab;if mi>0.1q=q+1;mii(q)=mi;mic(q)=g;endend5参考文献：[1]吴倩，史萍，新闻视频中主持人帧检测方法的研究，中国传媒大学，2009年。