浅析电影大数据的发展史

浅析电影大数据的发展史

( 一) 电影数据获取平台架构

电影内容语义数据能体现作品的丰富特征，蕴含大量视频、音频、类型、感情、灯光、色彩、镜头、特效、情节等语义信息，更是电影大数据的金矿。上海大学上海电影学院针对电影内容数据开展团队研究，人工与程序相结合，已面向数千部电影和电视剧开展影视内容数据的提取和积累。

电影数据获取平台总体流程包括人工和计算机自动数据生成，人工分配 4 000 部电影并分配给每位参与团队成员，按时间节点和字段类型分步填写电影基本内容字段、电影制作团队字段。成员利用计算机程序按秒分割电影画面，开展自动化男1 号女1号主角人脸识别、镜头分割，结合此项内容成员再次人工填写分镜字段。另一图像输出获取路径是基本图象元素数据获取，获取电影画面色彩、节奏、运动路径等基本特征数据。合并分镜字段、人脸字段、镜头字段、基本图像数据字段后给出最终的视觉展示界面。获取电影声音序列，对声音时域和频域数据输出，在听觉界面上展示。视觉展示和听觉展示按电影时间轴同步，便于用户多角度比对电影数据。

人工数据录入包括主角年龄、职业、家庭、隐喻、前后期团队等数十种字段。计算机自动数据生成包含颜色、边缘、镜头、3D 、频率、人脸、景别等数十种字段。

本平台首先需人工填写电影编号和片名，定位电影所在本地目录，按时间序列分割图像和声音，一键获取亮度值、单帧红色分量、单帧绿色分量、单帧蓝色分量、单帧均方差、单帧信息熵、单帧梯度值、纹理数据四项、边缘数据一项，同时统计各特征数据的全片平均值;按时间序列获取声响、主频值、主频点、1 / 2中位数频点、1 / 4 分位数频点、3 / 4 分位数频点、均方差，同时统计各特征数据的全片平均值;后台统计男 1 号女 1 号主角人脸出现的时间序列、景别、脸色、背景色等数据。

( 二) 电影内容数据解读案例

数据分类输出后存入对应表格，用户使用本系统音视频阅读浏览器解读已获取电影数据。本例仅对单部电影《智取威虎山》进行解读。

电影色彩节奏变化解读。用户首先浏览基础图像数据。图像颜色分量由红、

绿、蓝色曲线表示。《智取威虎山》主要场景由户外冰雪场景、室内对白和战斗构成，偏蓝的分段表示为户外冰雪场景，偏红的分段表示为室内场景。由图 3 可知，户外冰雪场景明亮并偏冷色调，室内场景暗淡并偏暖色调，一段昏暗的室内对白后紧接着户外的明快战斗，按波形变化率，室内画面运动慢而户外战斗运动变化较快。最后的时间序列为明亮的红色分量，这是有意安排的最终战斗，笔者认为是与故事前段战斗的色彩反差对比并隐喻革命胜利。为了表达室内明亮的暖色调，场景故意设计了为“座山雕”祝寿的桥段，以此实现了强烈的战斗色调对比。

电影高潮位置解读。图像数据展示了整部电影的颜色变化率，统计结果表示在电影开始后1 / 3 处，图像变化率有个明显的快区间，此区间即为“杨子荣”上山遇老虎并战斗的特效场景。导出男1 号主角识别序列( 图 3 中绿色圆点) 后发现，男1 号主角首次出现在约开篇8 00 秒的时间轴上，景别( 图 3 中紫色圆点)为中景，场景为夜晚的火车站，脸部与环境没有突出的亮度和颜色反差。男1 号主角集中出现在上山打虎的桥段中，约在23 00 秒到 3 000 秒的时间轴范围内，男 1 号主角景别以中、近、特写为主，配以快速镜头和画面变化，确认电影高潮的时间轴位置。

电影画面复杂度解读。信息熵数据体现图像帧携带的信息量大小，全白、全黑或单一颜色的信息量最小。

本影片单帧信息量变化不大，仅随亮度提高信息量略有提高，说明本影片在绝大部分时刻提供观众稳定的视觉信息感受。均方差参量随着亮度变化较为明显。

电影画面形态和对白位置解读。图像边缘数据和梯度值体现单帧图像画面边缘量。随着场景变化，此数据略有波动，除在户外火车站仓库首战时，铁轨的出现就让此数据大大提高。由于是对电影全图进行分析，故也包含了底部字幕对白信息。当有对白字幕出现时，此数据也大大提高，这为对白字幕在时间轴上出现确切位置提供依据。

声音数据伴随图像数据而变化。频点分布广即1 / 2 中位数频点、1 / 4 分位数频点、3 / 4 分位数频点之间差别较大说明此桥段背景声音嘈杂;主频点较低且集中说明是人物在安静环境下对白的桥段;声音响度也侧面反映了桥段的激烈度。

( 三) 数据应用初探

结合电影团队现有的广电用户行为数据、互联网用户行为数据、IPTV 用户行为数据、互联网购票数据和影视评论蚂蚁数据，可开展广告投放决策、内容策划决策、选角排序决策、分镜决策、Layout分析、摄像决策、音乐音效决策，也可用在电影评论和观众审美等领域。

在总体电影决策方面，本研究提供的镜头分割和人工标记数据能区分各桥段的时间轴位置和场景地理位置、时间、天气、环境、人物、动作、背景等基本内容;提供的图像声音数据结合人工标记情感数据能解读故事情节发展节奏;提供的制作团队数据为选择摄像、化妆、机械、美术、特效、动画等岗位人员提供依据。

在局部规划方面，通过对类型片的检索，可提供某类型片主角首度出现时间点、景别、脸部色调;确定某类型电影高潮时段、色彩分布;提供全片镜头运动路径;提供类型片3D 拍摄参数等导演、摄像、录音所关心的数据。

本文研究内容正为上海市内两部电影投资、拍摄决策开展前期服务，提供高潮时间轴分析、男 1 号女1 号主角出场和出镜分析、节奏变化、镜头序列分割等服务。随着数据积累和数据库建设完整，切入中后期的拍摄、Layout阶段和3D 特效制作、3D 舒适度研究等流程中。

结语

在“互联网+”的时代用户行为数据如依托行业可较易获取，但仅仅依靠用户行为数据来尝试内容创意指导、后期制作和营销还远远不够。电影内容的语义数据能体现作品的丰富特征，蕴含大量视频、音频、类型、感情、灯光、色彩、镜头、特效、情节、3D 等语义信息，更是电影大数据的金矿。本研究分阶段实现内容数据获取平台，完成了数据获取方法和团队运作流程。本研究只是电影大数据的开端，随着团队数据库建设和电影产业集聚，作为有能力输出数据并拥有各渠道用户数据的电影研究团队，将组合解读好莱坞、国内、韩国等地域的类型片内容特征。本研究在课题组织和支持下有望作为核心技术平台结合通用数据分析算法后投入到电影创作、制作、评论、欣赏等各环节中。