进展报告范文

400000624X—2006CB303100/02 公开

国家重点基础研究计划（973计划）

技术进展报告

可视媒体智能处理的理论与方法

研究进展

撰写人：刘永进、胡事民

清华大学

2009年10月

辑要页

目次

引言 (1)

1 研究进展概述 (1)

1.1可视媒体的认知特征研究 (1)

1.2可视媒体的计算理论与方法研究 (2)

1.3可视媒体的表示、分析与利用研究 (2)

1.4基于内容的可视媒体安全研究 (2)

1.5可视媒体的交互与融合处理研究 (2)

1.6可视媒体的高效计算与系统研究 (3)

2研究工作的主要进展 (3)

2.1人的视觉加工的认知机理 (3)

2.2人类视觉认知的神经机理 (4)

2.3可视媒体计算的基础理论研究 (4)

2.4可视媒体人体运动分析中视觉信息的表示与融合 (4)

2.5可视媒体的概念索引与语义组织表示 (5)

2.6可视媒体的信息挖掘与知识发现 (5)

2.7基于内容的可视媒体安全 (6)

2.8可视媒体的交互与融合处理 (6)

2.9可视媒体的高效计算与系统 (7)

3重要阶段性成果或突破 (8)

3.1空间表征特性的研究 (8)

3.2人脸认知 (10)

3.3黎曼流形上的学习理论 (11)

3.4 XML数据查询处理的语义缓存研究 (12)

3.5 基于星型结构的近似图编辑距离计算 (12)

3.6 基于视觉注意力模型的数字图像拼接篡改检测 (13)

3.7 二维可视媒体的融合 (14)

3.8 可视媒体的高效计算方法 (15)

4结论与建议 (15)

参考文献 (17)

插图清单

图1 实验中一个被试的眼动轨迹 (9)

图2 学习图形 (9)

图3 测试图形 (9)

图4 空间Stroop任务实验范式 (10)

图5 人脸学习测试程序示意图 (10)

图6 姿态和表情的不同迁移效应 (11)

图7基于序列的频繁XML查询模式的增量挖掘算法ESPRIT (12)

图8 检测系统结构 (13)

图9 对拼接图像的检测结果 (14)

图10Sketch2Photo效果 (15)

附表清单

表1 Cmid性能对比 (14)

引言

本报告从三个层次（基础理论层面、核心技术层面和验证平台层面）论述了在可视媒体的认知特征，可视媒体的计算理论与方法，可视媒体的表示、分析与利用，基于内容的可视媒体安全，可视媒体的交互与融合处理，视媒体的高效计算与系统等6个方面的研究进展：可视媒体的认知特征研究方面，研究了人类视知觉特性与神经机理，为可视媒体的智能处理提供理论依据。取得的具体进展包括研究了物体识别与参照系的关系、人们在视觉学习中自动组织和提取规则信息并理解视觉信息的特性；研究了视知觉阈限，研究了认知负荷研究和表情和面孔研究；开展了人视觉工作记忆的生理机理和神经网络模型的应用研究。

可视媒体的计算理论与方法研究方面，研究了可视媒体计算的基础理论和新方法，具体包括：研究径向基函数插值与拟插值理论、计算共形理论、基于认知机理的人工神经网络模型、可视媒体应用中的机器学习以及在图像、视频、几何数据的计算新方法。

可视媒体的表示、分析与利用研究方面，重点探索可视媒体的表示与组织的方法，可视媒体的信息抽取，以及海量可视媒体信息的挖掘和搜索，并建立可视媒体的按需服务机制。具体取得了研究进展包括：可视媒体三维运动分析与理解；基于语义缓存的可视媒体搜索的组织与结构；基于混合高斯模型的层次马尔科夫随机场模型；可视媒体语义层模式聚类与自动标注；视频原子事件序列中的高频关联模式挖掘及分类方法研究，序列蒙特卡罗算法研究；结合网络编码的对等网络流媒体传输系统扩展与性能优化。

基于内容的可视媒体安全研究方面，针对可视媒体内容安全的几个基本问题和方法进行研究，具体取得的研究进展包括：可视媒体加密的安全性度量方法，分析加密后可视媒体信息的视觉保密性；可视媒体内容加密的技术框架；分析可视媒体加密的网络适应性；面向可分级编码的基于内容的加密方法；信息加密和信息隐藏的结合机制；抗几何攻击的图像水印、抗几何攻击的三维几何模型水印、数字水印的安全性；合成图像的盲辨识；鲁棒图像Hash 算法。

可视媒体的交互与融合处理研究方面。研究了可视媒体的交互与融合处理技术，具体取得的研究进展包括：三维动态可视媒体的构建；三维静态可视媒体构建；二维静态可视媒体（图像）融合；三维动态可视媒体（视频）融合；基于草图和文本的视频语义分析与标注；基于草图界面的交互式视频构建与浏览。

可视媒体的高效计算与系统研究方面，取得的具体研究进展包括：在图像、视频、几何数据的生成与编辑等方面研究可视媒体高效计算方法，注重媒体处理的速度和智能化程度，初步构建了可视媒体高效计算系统与应用验证平台，并进一步加强和完善模拟仿真和决策支持应用平台、面向内容产业的数字媒体应用平台的功能。

1 研究进展概述

1.1 可视媒体的认知特征研究

研究视觉工作记忆特性和三维场景记忆和识别，进一步验证了我们提出的以环境为中心的参照系空间记忆理论；研究人类视觉学习的自动组织原则，考察视觉系统如何提取规则信息，揭示了自动获取视觉信息规则的认知机制；研究视觉系统对视觉信息的敏感性和水印感知阈限，引入了图像质量主观评价的新方法-信号检测论法（SDT）；开展针对拥挤效应的认知负荷研究，揭示了人在不同知觉负荷条件下的认知机理；研究人脸语义表达的关键认知属性，建立基于维度分析法的语义属性度量模型，构建语义属性与图像参数的关联模型，实现了具有丰富语义表现力的脸像生成；研究了人类视觉记忆的生理机理，动物实验结果表明了利用药物提高大鼠脑内MgT浓度，其大脑中与学习与记忆紧密相关的区域的突触密度和可塑