视频大数据与智慧城市管控
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
– 嫌疑人排查 – 视频抓逃
• 城市中各种行为活动的记录
– 异常行为——及时发现、有效应对
– 正常行为——分析规律、科学决策
– 线索关联…
• 辅助城市规划
– 交通流量分析预测… 城市中的视频大数 城市管控应用需求
语义提取：计算机视觉技术
计算机视觉技术是挖掘视频大数据金矿的核心工具
背景环境
规则 Logic 目标
B公司算法
Hale Waihona Puke BaiduC公司算法
100% 90% 80% 70% 准 60% 确 50% 率 40% 30% 20% 10% 0%
A研究所算法 B公司算法
…
C公司算法
智能视频分析技术评测
建议建设数据实验特区
• 关于数据安全和隐私保护
– 敏感信息过滤
– 在政务网和互联网之间开辟安全的虚拟实验环境
他山之玉——Kaggle大数据开发平台
加隐蔽,技术性更高,对安防体系与刑侦技术提出了越来
越高的要求。
实施效果
通过智能视频分析算法，提供面部异常识别、行为异 常识别、遗留物检测、ATM机上张贴物警示、伪装设备 侦测等视频分析服务，自动发现异常行为，实时报警。
保障了银行正常用户的权益和人身安全。
嫌疑人排查——海量人脸库搜索比对
静态人脸照片比对
视 频 大 数 据
• 大数据的4V特点
– Volume（大量） – Velocity（高速） – Variety（多样） – Value（价值）
视频大数据现状
据保守估计，我国的监控摄像头总数截止 2011年已突破500万台，并以每年20%的速 度增长中。一座有4万台监控摄像头的城市 一天产生的数据量>950TB
城市管理——交通目标/事件识别
车 辆 布 控 违 章 检 测
交 通 流 量 统 计
公共安全——视频卡口实时布控
覆盖车站、地铁、重点路段的摄像头，人脸检测+识别 通缉犯、危险人员及早发现
案例：水客识别（拱北海关）
应用背景
水客走私长期困扰海关执法工作； 旅客进出境次数直接影响海关对短期 多次往返旅客行李物品的验放尺度； 目前对“当天及短期内多次往返的旅 客”的具体出入境情况只有边检部门
联合检索：根据目标特征，检索相关多个摄像头的视频片段 轨迹挖掘：跨摄像机目标关联，目标轨迹研判
按类型检索
案件视频检索
关联视频比对
视频检索综合分析
统计分析 案件统计分析 串并案分析
城市状态分析
通过视频数据，汇集一个城市中每个街道的人流数据、车流数据，形成城市的人 车分布图，静态的如不同区域人的特征、车的特征，动态的如人车的路径、停
目前世界上最大的数据科学家社区——近11万名在线的数据科学家 为GE、微软、Facebook、Tesco、福特、NASA（美国宇航局）提供服务 帮助客户解决数据科学问题，例如提高销售预测，客户细分，优化定价等
研究所、高校、独立科学家… （数据分析能力）
荣誉，奖金，论文（科研成果）
政府、企业 … （数据分析需求）
算法优化：研究需要实际场景数据支撑
建议建设数据实验特区
• • • 充分利用政府的海量视频监控数据，搭建视频算法研发评测平台 调动科研力量，促进智能视觉技术的研究创新，提升城市管理运行的智能化水平 建立权威的视频识别标准库，检验各种智能视频技术的优劣，为技术选型提供依据
政 府 视 频 资 源 库
A研究所算法
留模式，对城市的规划和管理都极有价值。
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
负面案例
• 南京周克华案件，全市1万多个摄像头共提取了1998T的 视频数据，调用1500多名公安干警查看，耗时一个月， 却效果平平。 • 长春盗车杀婴案件，出动了3500警力，依仗长春市6万个 摄像头（含逃跑路线经过的两个卡口），却没能及时找到
视频大数据与智慧城市管控
广州中国科学院软件应用技术研究所 智慧城市研究中心
广州中国科学院软件应用技术研究所
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
大数据定义
• 大数据（big data）
– 规模巨大到无法通过目前主流软件工 具，在合理时间内达到撷取、管理、 处理、并整理成为帮助企业经营决策 等目的的资讯
人脸识别
字符识别
视频大数据技术架构（数据密集型应用）
政府用户 视频监控 管理区
安全边界 平台
市级公安 网用户
政府视频资源接 入、共享平台 视频监控 管理区 政府用户/资源
视频应用服务器集群
公安网视频 共享平台
市
存储服务器集群
智能分析服务器集群
视频专网
安全边界平台 （视频通道部分） 区县级公
安网用户
解决方案（算法）
谢谢！
广州中国科学院软件应用技术研究所
号 12345678912 2015.4.3
快速回溯取证——视频浓缩摘要
浓缩视频精华，快速回溯事件，一般监控视频压缩比>1:100
按照衣着等特征智能检索人员、车辆…快速取证违法行为，提高查找效率
浓缩前 两小时（含大量无用信息）
浓缩后 五分钟（ 只呈现关键信息）
视频线索串联——视频信息融合检索
政府视频资源接 入、共享平台
视频应用 服务器集群 社会视频 资源接入平台 社会视频资源 运营平台
公安网视频共享平台
区、县 所、台
派出所 交巡警平 台
数 据 分 析 任 务 分 解 下 沉
前端镜头 （公安自建） 行业单位视频资源
Internet
移动网络
公共传输网络
移动指挥车 社会单位视频资源
兵
处置现场
英国——摄像头数量：人口数量达到1：15
北京——四环之内无盲点
视频监控将是世界上最大的数据生成器
4
视频大数据中蕴藏的金矿
通常情况下，人类从外界获得信息约90%来自双眼
• 真实的城市实时/历史影像
– 海中捞针，寻人寻物的利器 – 执法取证的重要来源 语义提取
• 城市管理
– 交通违章 – 城市秩序…
• 公共安全
•人 •车 •物 • • • • • • • • • 进入 离开 出现 消失 取走 遗留 徘徊 拥挤度 密度
功能
• 入侵检测 • 遗留检测 • 遗失检测 • 徘徊检测 • 聚集检测 • 行为识别 • 来车检测 • 流量统计
前景目标
语义提取：计算机视觉技术
广义的计算机视觉技术至今仍然不成熟 部分应用在可控环境下已取得较好效果
移动人脸识别终端
手机拍照→上传照片→接收结果
数秒时间完成千万规模的人脸比对（公安人像库）
案例：通缉犯识别（常州看守所）
应用背景
看守所中的在押人员中很可能存在全国通缉
犯，如果其伪造身份，容易错失抓捕良机。
陈伟涛 男 汉族 1972 河东省哪里市西山路25
实施效果
利用人脸比对系统对在押人员的生物特征进 行识别，并与公安部公布的逃犯数据库比对， 搜索相似人员的图片及身份信息，监管人员 能有效地甄别出漏网之鱼。
单兵系统
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
城市管理——异常状态发现
利用城市中无处不在的摄像头，构建7×24小时智能识别监控体系 由传统事后查看“被动”模式变“主动”预警，实时告警
• 占道经营 • 人群聚集 • 违章停车 • 明火检测
• 车牌识别
• 井盖丢失 • 入侵检测 • 积水检测 • 遗留物检测 • …
掌握，海关无法与边检联网共享数据
实施效果
通过人脸识别系统，对每天出入口岸的旅客进行自动计数，一旦超过规定次数则将报警 信息发送到海关官员的手持终端上。改变了海关传统的查验方式，提高了办事效率。
案例：异常状况识别（重庆工商银行ATM机）
应用背景
近几年屡见针对包括ATM和自助银行在内的银行系统营 业网点的恶性犯罪案件,而且作案手段越来越多,方式更
被盗车辆、避免悲剧。
• ……
问题和挑战
• 硬问题
– 数据联网：信息孤岛问题，不联网就无所谓“大数据” – 视频质量：需要捕捉到正面清晰的人脸、车牌
硬件升级：摄像头联网+高清改造
• 软问题
– 视频分析算法的稳定性：受环境干扰大（光线阴影、恶劣天气、
晃动、飞虫等都会影响系统的准确性）
– 视频分析算法的适应性：安装调试复杂（几乎需要按每一个应用 场景进行不同的专业参数设置和调试）
• 城市中各种行为活动的记录
– 异常行为——及时发现、有效应对
– 正常行为——分析规律、科学决策
– 线索关联…
• 辅助城市规划
– 交通流量分析预测… 城市中的视频大数 城市管控应用需求
语义提取：计算机视觉技术
计算机视觉技术是挖掘视频大数据金矿的核心工具
背景环境
规则 Logic 目标
B公司算法
Hale Waihona Puke BaiduC公司算法
100% 90% 80% 70% 准 60% 确 50% 率 40% 30% 20% 10% 0%
A研究所算法 B公司算法
…
C公司算法
智能视频分析技术评测
建议建设数据实验特区
• 关于数据安全和隐私保护
– 敏感信息过滤
– 在政务网和互联网之间开辟安全的虚拟实验环境
他山之玉——Kaggle大数据开发平台
加隐蔽,技术性更高,对安防体系与刑侦技术提出了越来
越高的要求。
实施效果
通过智能视频分析算法，提供面部异常识别、行为异 常识别、遗留物检测、ATM机上张贴物警示、伪装设备 侦测等视频分析服务，自动发现异常行为，实时报警。
保障了银行正常用户的权益和人身安全。
嫌疑人排查——海量人脸库搜索比对
静态人脸照片比对
视 频 大 数 据
• 大数据的4V特点
– Volume（大量） – Velocity（高速） – Variety（多样） – Value（价值）
视频大数据现状
据保守估计，我国的监控摄像头总数截止 2011年已突破500万台，并以每年20%的速 度增长中。一座有4万台监控摄像头的城市 一天产生的数据量>950TB
城市管理——交通目标/事件识别
车 辆 布 控 违 章 检 测
交 通 流 量 统 计
公共安全——视频卡口实时布控
覆盖车站、地铁、重点路段的摄像头，人脸检测+识别 通缉犯、危险人员及早发现
案例：水客识别（拱北海关）
应用背景
水客走私长期困扰海关执法工作； 旅客进出境次数直接影响海关对短期 多次往返旅客行李物品的验放尺度； 目前对“当天及短期内多次往返的旅 客”的具体出入境情况只有边检部门
联合检索：根据目标特征，检索相关多个摄像头的视频片段 轨迹挖掘：跨摄像机目标关联，目标轨迹研判
按类型检索
案件视频检索
关联视频比对
视频检索综合分析
统计分析 案件统计分析 串并案分析
城市状态分析
通过视频数据，汇集一个城市中每个街道的人流数据、车流数据，形成城市的人 车分布图，静态的如不同区域人的特征、车的特征，动态的如人车的路径、停
目前世界上最大的数据科学家社区——近11万名在线的数据科学家 为GE、微软、Facebook、Tesco、福特、NASA（美国宇航局）提供服务 帮助客户解决数据科学问题，例如提高销售预测，客户细分，优化定价等
研究所、高校、独立科学家… （数据分析能力）
荣誉，奖金，论文（科研成果）
政府、企业 … （数据分析需求）
算法优化：研究需要实际场景数据支撑
建议建设数据实验特区
• • • 充分利用政府的海量视频监控数据，搭建视频算法研发评测平台 调动科研力量，促进智能视觉技术的研究创新，提升城市管理运行的智能化水平 建立权威的视频识别标准库，检验各种智能视频技术的优劣，为技术选型提供依据
政 府 视 频 资 源 库
A研究所算法
留模式，对城市的规划和管理都极有价值。
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
负面案例
• 南京周克华案件，全市1万多个摄像头共提取了1998T的 视频数据，调用1500多名公安干警查看，耗时一个月， 却效果平平。 • 长春盗车杀婴案件，出动了3500警力，依仗长春市6万个 摄像头（含逃跑路线经过的两个卡口），却没能及时找到
视频大数据与智慧城市管控
广州中国科学院软件应用技术研究所 智慧城市研究中心
广州中国科学院软件应用技术研究所
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
大数据定义
• 大数据（big data）
– 规模巨大到无法通过目前主流软件工 具，在合理时间内达到撷取、管理、 处理、并整理成为帮助企业经营决策 等目的的资讯
人脸识别
字符识别
视频大数据技术架构（数据密集型应用）
政府用户 视频监控 管理区
安全边界 平台
市级公安 网用户
政府视频资源接 入、共享平台 视频监控 管理区 政府用户/资源
视频应用服务器集群
公安网视频 共享平台
市
存储服务器集群
智能分析服务器集群
视频专网
安全边界平台 （视频通道部分） 区县级公
安网用户
解决方案（算法）
谢谢！
广州中国科学院软件应用技术研究所
号 12345678912 2015.4.3
快速回溯取证——视频浓缩摘要
浓缩视频精华，快速回溯事件，一般监控视频压缩比>1:100
按照衣着等特征智能检索人员、车辆…快速取证违法行为，提高查找效率
浓缩前 两小时（含大量无用信息）
浓缩后 五分钟（ 只呈现关键信息）
视频线索串联——视频信息融合检索
政府视频资源接 入、共享平台
视频应用 服务器集群 社会视频 资源接入平台 社会视频资源 运营平台
公安网视频共享平台
区、县 所、台
派出所 交巡警平 台
数 据 分 析 任 务 分 解 下 沉
前端镜头 （公安自建） 行业单位视频资源
Internet
移动网络
公共传输网络
移动指挥车 社会单位视频资源
兵
处置现场
英国——摄像头数量：人口数量达到1：15
北京——四环之内无盲点
视频监控将是世界上最大的数据生成器
4
视频大数据中蕴藏的金矿
通常情况下，人类从外界获得信息约90%来自双眼
• 真实的城市实时/历史影像
– 海中捞针，寻人寻物的利器 – 执法取证的重要来源 语义提取
• 城市管理
– 交通违章 – 城市秩序…
• 公共安全
•人 •车 •物 • • • • • • • • • 进入 离开 出现 消失 取走 遗留 徘徊 拥挤度 密度
功能
• 入侵检测 • 遗留检测 • 遗失检测 • 徘徊检测 • 聚集检测 • 行为识别 • 来车检测 • 流量统计
前景目标
语义提取：计算机视觉技术
广义的计算机视觉技术至今仍然不成熟 部分应用在可控环境下已取得较好效果
移动人脸识别终端
手机拍照→上传照片→接收结果
数秒时间完成千万规模的人脸比对（公安人像库）
案例：通缉犯识别（常州看守所）
应用背景
看守所中的在押人员中很可能存在全国通缉
犯，如果其伪造身份，容易错失抓捕良机。
陈伟涛 男 汉族 1972 河东省哪里市西山路25
实施效果
利用人脸比对系统对在押人员的生物特征进 行识别，并与公安部公布的逃犯数据库比对， 搜索相似人员的图片及身份信息，监管人员 能有效地甄别出漏网之鱼。
单兵系统
汇报提纲
1
视频大数据及相关技术
2
城市管控中的应用与案例
3
问题、挑战和一些建议
城市管理——异常状态发现
利用城市中无处不在的摄像头，构建7×24小时智能识别监控体系 由传统事后查看“被动”模式变“主动”预警，实时告警
• 占道经营 • 人群聚集 • 违章停车 • 明火检测
• 车牌识别
• 井盖丢失 • 入侵检测 • 积水检测 • 遗留物检测 • …
掌握，海关无法与边检联网共享数据
实施效果
通过人脸识别系统，对每天出入口岸的旅客进行自动计数，一旦超过规定次数则将报警 信息发送到海关官员的手持终端上。改变了海关传统的查验方式，提高了办事效率。
案例：异常状况识别（重庆工商银行ATM机）
应用背景
近几年屡见针对包括ATM和自助银行在内的银行系统营 业网点的恶性犯罪案件,而且作案手段越来越多,方式更
被盗车辆、避免悲剧。
• ……
问题和挑战
• 硬问题
– 数据联网：信息孤岛问题，不联网就无所谓“大数据” – 视频质量：需要捕捉到正面清晰的人脸、车牌
硬件升级：摄像头联网+高清改造
• 软问题
– 视频分析算法的稳定性：受环境干扰大（光线阴影、恶劣天气、
晃动、飞虫等都会影响系统的准确性）
– 视频分析算法的适应性：安装调试复杂（几乎需要按每一个应用 场景进行不同的专业参数设置和调试）