移动互联网内容监测系统方案设计

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
统计查询
系统支持对至少提 供主机域名、U R L、U R L命 中次数、源数据链接、源IP、源端口、目的IP、目的端 口、协议方法、协议内容类型、时间、权重等可用信息 的报表生成。系统支持测试报告的打印预览、Excel、 html等格式的输出方式,为管理工作提供方便。
告警策略配置
对于系统监测到的不良信息,除了进行浏览审核 外,系统还支持使用邮件、短信、SN MP的方式进行 告警。系统告警的产生基于配置的告警策略,在配置 告警策略后,系统会实时监控、统计抓取到的不良信 息数据,如果满足配置的告警阀值,就会产生相应的 告警。用户可根据需要设置若干个告警策略,可以基 于告警策略设置告警阀值、告警通知邮箱、告警短信 通知手机,并选择告警基本。
本系统支持良好的报表展现和不良信息审核流 程,大致的审核流程如下:
● 监测前端机获取符合内容匹配条件的中标记 录信息;
● 系统用户浏览并审核抓取的图片和网站内容; ● 对于有嫌疑的网站或链接,系统会给出具体的 url,通过链接查实; ● 通过审核确实有问题的链接,可以进行截图, 保存文件等取证工作。 ● 可按不良信息的类型(如黄色、反动、欺诈等) 进行查询,支持多条件的复合查询,可对中标信息进 行去重处理。
图像识别机 图像识别机的主要工作任务是将监测前端机传 送过来的图片信息进行黄色图片智能识别判定,将判 定结果上传到应用服务器。
应用服务器 应用服务器是内容安全监测系统的控制中枢,完 成监测功能配置、监测记录存储记录、监测结果统计 分析 等功能。系统 用户通 过 W E B 浏览器完 成 对系统 的功能配置和结果分析。如果监测入库的数据量汇 总结果过大,可配置多台应用服务器实现应用服务器 集群。 由于应用服务器需要和监测前端机保持高速的 大带宽通信接口,所以需要每个监测的物理节点配置 至少一台应用服务器,实现主备或监测集群设置需配 置两台或多台应用服务器。
表所示)。 方案一:要实现最佳的监控
方案一
方案二
性能,就需要最大范围的采集网
接入点 监控范围
核心层出口
接入层/汇聚层接口
不能监控到所有数据,只是外 不能监控到所有数据,只能是
网数据
本网数据
络流量数据。设计选择移动互联 网核心层 上行出口电 路 分 光 或 数据镜像方式采集网络流量数
采集点分布 网站备案监管
监测前端机 监测前端机可根据需要选择千兆以太网电接口 或光接口,前端机采用数据旁路方式接入被监测链 路,多接口或主备链路可采用前端机接入集群来实现 数据接入和内容安全分析。 监测前端机的主要工作任务是采集链路数据、 还原业务内容并进行文字不良信息匹配识别,同时应 用内容匹配去重机制过滤图片信息,将过滤后的图片 传递到图像识别机进行黄色图片识别判定。
于外网,同时还有一些IDC接入的托管 ● 用户和专线用户也是不良信息的重要来源。 ● 从内容监管责任度来看,运营商对于IDC托管
用户和专线接入用户承担很重的监管责任,而外网的 不良信息则由于存在着接入和管理在外等因素影响 而内容监管审核压力较小。
由于互联网的开放性特点,利用人工浏览和搜索 技术对接入内容进行审核将会消耗大量的人力物力, 形成一个甩不掉的沉重包袱;而自动的安全检测系 统,则受制网络结构的复杂和数据流量的庞大,无法 在宽带接入、城域网、骨干网等层面实现全部内容的 监测过滤,部署覆盖全部网络接入层面的监控在技 术和资金投入上都是不现实的。
为提高网络管理水平和服务质量有效防止信息安全事件的发生迫切需要一个高性能大容量安全稳定的信息安全监控系统在出现非法有害及敏感信息时能够及时进行告警并采取一定的措施以保证移动互联网网络及下联客户增值平台等的安全运行杜绝网上非法信息的泛滥
B20 绿色通信
美编:牛大伟 编辑:袁娜 yuanna@ 2009年11月9日
Web2.0、P2P、网络视频应用的不断兴起,论坛、 聊天室、博客、即时通信、个人主页等交互类网络服务 迅速膨胀,使得各类违法有害信息的传播方式也更加 手段多样并且快速和隐蔽。一半的网民使用互联网作 为信息获取的主要渠道,一旦出现违法有害信息,其 危害及影响面会很大。
近 年来 政 府 针对互 联 网上 违 法 有 害 信息传 播 也进行了多次“专项整顿”和“专项打击”行动,采取 “抓信息源”(即网站经营单位)的做法,阶段性地抑 制了违法有害信息的产生和传播。但由于缺乏有效技 术手段和设备保障,每次专项行动中各级执法、执行 机构的人员投入和工作量巨大,而且困难重重并难以 形成长效机制,专项整治之后各类违规业务和违法有 害信息又会出现“春风吹又生”的景象。
文字不良信息智能匹配识别
关键字设置匹配管理 可以增加、修改、删除关 键字的类型。策略中需要进行关键字匹配时,需要指 定关键字的类型(当然同一个策略可以指定多个关键 字类型)。这样在检查业务数据时,如果业务内容中 有一种指定关键字类型中的关键字则认为关键字匹 配成功。
关键字可通过Excel模块来定义和维护,可通过 系统导入关键字字典。用户可通过关键字列表来实现 对关键字的维护,不同的业务类型可分别定义所属的 关键字,也未可共用关键字列表。
移动互联网随着网络流量带宽的不断增长,各类 违法等有害信息也乘虚而入,网络信息安全将出现严 峻形势。其中互联网数据中心是各类网站及应用系统 的主要集中地,也是网络信息传播的主要节点,通过 建设内容监测系统,采取技术手段,将提高维护人员 工作效率,将强化对移动数据网内的信息监控,将会 有效切断违法有害信息传播链条,确保互联网健康发 展,为促进和谐社会贡献力量。
图2 网络系统逻辑组成
据和图片的系统化应用,为业务运营的内容监管提供 了新的技术手段和发展思路。
黄色图片智能识别判定
采用“基于内容的图像识别技术”,建立了人工智 能的图像识别数学模型,根据标准肤色、姿态特征库 直接对图像进行判断,而不是和现有图像库进行简单 的对比,对色情图像的识别率很高,变被动防御状态 为真正主动过滤,极大地提高了过滤的有效性。
网站报备监测
系统能根 据I P 地 址判断I D C 客户的网站页 面底 部的中央位置上是否有通信管理局发放的备案编号 及证书,系统能够对备案编号、证书、信息产业部备案 管理系统网址等进行特征抽象,并形成一定的规则, 进行智能识别,保证监测结果的准确性。
不良信息取证记录
为了满足增值业务不良信息监控审核的需要,系 统提供不良信息监测结果的审核确认流程,并可在各 阶段分别生成分析报表。
TECH-SOLUTION
互联网信息安全监控管理系统采取通行的IP协议分析技术,它是一种对互联网网络层和 应用层各类协议进行分析处理的技术。
移动互联网内容监测系统方案设计
中国移动通信集团吉林有限公司 | 徐维华
随着网民、域名、网站、IDC服务机构数量以 及网络带宽流量的不断增长,国内互联网上 的信息传播流量和速度都达到了空前的程 度,随之而来的各类违法有害信息也趁虚而入,网络 信息安全成为各运营商必须面对的问题。
● 安全性:“互联网信息安全监控管理系统”必 须从网络、主机、数据库和应用软件等方面保证系统 运行和审计数据的安全。
可靠性:系统应有防护性能,防止网络病毒及攻 击;应用软件应有容错能力,软件故障不应引起各类 严重的系统再启动;整个系统需要按照电信级系统进 行设计、开发及施工,充分保证7×24小时不间断运 行,并且提供足够的冗余。
息来源。
类协议进行分析处理的技术。系统通过采集获取移
● 监控移动互联网业务发展状况,对业务类型和 动数据网出口电路的网络流量数据,利用报文重组、
访问流量进行分析统计,为企业互联网数据业务运营 协议规则分析等技术方法实现信息安全监控管理功
提供数据支持。
能。结合互联网网络结构,有以下两种部署方案(如
表 方案一与方案二的比较
建设原则
“互联网信息安全监控管理系统”的设计遵循 以下原则。
● 实用性:系统应部署简单,不影响互联网网络 现状,网络拓扑不发生改变,不增加网络故障点。
● 灵活性:“互联网信息安全监控管理系统”应 采用模块化结构,具有良好的扩展能力,并能够根据 将来信息安全形势发展需要,灵活扩展监控内容及网 络覆盖范围。
徐维华,男,1972年6月出生,1994年毕业于长春邮电学院通信工程专业并获大学本 科学历,2004年毕业于吉林大学电子与通信专业,获工程硕士学位。现任中国移动 通信吉林公司发展计划部项目经理,通信工程师(中级),作为项目带头人主持建 设方案、可行性研究报告、技术评标等技术论证工作。2002年建成第一个以省为单 位集中的办公自动化系统,多个省前来考察。受到集团公司邀请成为小型机和存储 设备国际招投标专家评委,先后参加5次评标。完成BOSS系统容灾项目建设,实现 BOSS系统同城异地容灾,在全国移动各省会议上做专题经验汇报。完成移动彩铃 系统IP化改造,大量减少电路,大幅降低成本,节省机房空间50%,节能20%以上。
中心报表服务器 中心报表服务器主要完成监测结果的汇总统计分 析功能,中心报表服务器与应用服务器通过网络连接。
系统功能设计
海量数据还原分析 针对业务访问特点,系统对捕获的图片进行智能 分类记录,经过去重分析处理后的记录在数据库中的 图片减少90%,经过黄色图片智能识别系统审核后的 嫌疑图片占总数的1%左右,低于识别门限的小图片和 图片被自然过滤。 系统实现了在电信系统高速数据接口对海量数
经济性:系统应具有较高的性能价格比,要根据 实际网络规模进行紧凑配置,使资金的产出投入比达 到最大值。
建设目标
系统部署方案设计
针对移动互联网的内容监测系统建设要达到以
下目标。
互联网信息安全监控管理系统采取通行的IP协
● 实时监控不良信息的发布,及时追踪有害信 议分析技术,它是一种对互联网网络层和应用层各
高速数据接口分流转换设备 对于2.5G/10G的高速数据接口可选择旁路接入 的分流设备对被监测链路完成数据分流和流量预筛 选。数据分流设备将接口转换为千兆以太网电接口, 通过千兆接口的监测前端机对分流处来的网络流量 进行数据采集分析。 对于多个GE接口,也可以采用GE接口专用汇聚 设备将多个GE接口数据过滤转换到若干个GE接口, 实现流量汇聚分析。
为提高网络管理水平和服务质量,有效防止信息 安全事件的发生,迫切需要一个高性能、大容量、安 全稳定的信息安全监控系统,在出现非法有害及敏 感信息时能够及时进行告警并采取一定的措施,以保 证移动互联网网络及下联客户、增值平台等的安全运 行,杜绝网上非法信息的泛滥。
● 建设中心监管平台,实现对全省互联网网站发 布信息的全面监控与管理,及时发现不良信息、敏感信 息,规范互联网行为,促进互联网信息化的良性发展。
技术特点
主要只能监管省内部分网站备案
最优,可以监管全部省内网站 备案
高速数据旁路还原技术
高速数据旁路还原技术
据。 方案二:接入层/汇聚层数
据采集方案。在移动互联网接入 层/汇聚层数据采集。
先从根源入手,对互联网的基
图1 互联网的基本结构
本结构进行分析(如图1所示)。 ● 从不良内容密集度来看,大量的不良信息来源
权重匹配管理 系统支持不同协议(业务)设置不 同的关键词和权重,可根据查准率和出现概率,设置 关键词的权重,可以设置减权关键词,降低误报率。
合理的设置监测策略,能极大提高数据中标率, 降低误报率,从而极大地降低工作人员的工作量。具 体来说,可以采取以下4种措施:调整关键字权重;设 置减 权关 键字;把易误 报的业务 类 型和 U R L 增加到 系统信任对象(白名单);按照系统使用情况定期调 整关键词权重,合理设置权重阈值。
因此,重点考虑图1中的1、2两个节点,即网络出口 和IDC机房的监控。节点1即是方案一数据采集点部署 位置,在移动互联网核心层,为本网到外网的网络接 口。节点2即是方案二数据采集点部署的位置,在移动 互联网汇聚层,主要针对IDC出口,集中了本网数据。
根据网络情况,首先在核心层网络出口部署相关 的监控节点并且建设互联网内容安全管理的中心节 点。上述节点的建设可以监测所有本网用户(专线用 户、个人宽带用户)访问他网,如使用Web服务、即时 通信工具、FTP服务等的信息内容;并可以监测所有 外网用户访问的本网数据,可以实现对IDC主要内容 的监测。同时可以考虑在汇聚层IDC部署对应的监控 节点,以实现对IDC内容安全的全面管理。
系统结构设计
网络内容安全监测系统由内容监测前端机、图片 识别服务器、应用服务器和中心报表服务器组成,系
TECH-SOLUTION
美编:牛大伟 编辑:袁娜 yuanna@ 2009年11月9日
绿色通信 B21
统逻辑组成如图2所示。 监测前端机、图像识别机和应用服务器之间通信
采用内部地址,探针监测网络出口数据流时,监测端 口不需要配置IP地址,不需要访问被监测设备,对被 监测设备的性能没有影响,不改变原有业务流程。
相关文档
最新文档