移动业务网络质量分析

XX移动网络故障及质量分析
报告分析周期6月30日-7月30日
本分析报告主要是基于上海中传网络自身的网管系统的统计数据及信息图表,及飞思达测试系统采集和xx移动网运中心提供的部分数据信息, 从出口利用率，出口拥塞情况等方面出具的分析报告.
一、6月30日-7月6日上海中传疏导的xx移动互联网出口流量图
近一周xx移动疏导到中传网络的3G流量最高达到2.87G,峰值利用率达到95.7%，同时伴有有明显的波峰波谷。

7月10日单日流量图如下：（峰值利用率亦达到90.1%）
根据以上波形图可看出，通常xx移动互联网出口晚高峰期利用率超过85%的时间基本都维持在19：00-24：00之间，若按照超过85%的利用率即为拥塞考虑的话，拥塞时长每天约在5个小时左右，占全天时长约为20.8%。

晚高峰期间为大量用户上网时间, 对与客户的主要业务还是有一定的影响。

二、7月9日Ping测试结果如下：
电信方向PING测结果：
联通方向PING测结果:
移动PING测结果：
从测试结果可看出，个别电信、联通方向的个别IP地址仍有无法PING通或丢包严重的情况。

初步判断为这些网址的IP地址有需要更新，需要根据具体现象单独分析解决。

三、网络质量拨测情况如下：
从上表中可简单看出，中传网络3G出口网络质量稳定与之前无明显变化，近一周无第三出口故障导致流量异常等情况。

综合质量评测中，中传，艾克瑞亚及移动CMNET的考评基本相同。

而在吞吐率指标上，尽管中传等第三方出口的吞吐率已达200KB/S左右，但相比移动CMNET仍有比较大的差异，主要原因仍因为在晚高峰期相对拥塞比较严重。

四、网络故障分析：
7-11/20:35 九云北京电信被攻击，互联端口从1G流量瞬间涨到10G导致北京-石家庄传输拥塞，江苏移动、上海移动、山东云网、等业务骤降，河北移动中断，目前已经把九云资源数据删除，大部分业务恢复：
分析：
对网络服务器的恶意网络行为包括两个方面：一是恶意的攻击行为，如拒绝服务攻击，网络病毒等等，这些行为旨在消耗服务器资源，影响服务器的正常运作，甚至服务器所在网络的瘫痪;另外一个就是恶意的入侵行为，这种行为更是会导致服务器敏感信息泄露，入侵者更是可以为所欲为，肆意破坏服务器。

例如最近几年较为流行的DDoS攻击就属于前者，分布式拒绝服务(DDoS)攻击指借助于客户/服务器技术，将多个计算机联合起来作为攻击平台，对一个或多个目标发动DDoS攻击，从而成倍地提高拒绝服务攻击的威力。

利用客户/服务器技术，主控程序能在几秒钟内激活成百上千次代理程序的运行。

对于网络攻击行为，中传是选用一套好的安全系统模型：包括以下一些必要的组件：防火墙、入侵检测系统、路由系统等。

在运维过程中，不断更新补丁，并经常对服务器进行备份操作，及时被攻击也可以还原。

安全总是相对的，再安全的服务器也有可能遭受到攻击。

尽量做好系统安全防护，修复所有已知的危险行为，同时，在系统遭受攻击后能够迅速有效地处理攻击行为，最大限度地降低攻击对系统产生的影响。

附件：
一）服务器受攻击的方式主要有以下几种：
1．数据包洪水攻击
一种中断服务器或本地网络的方法是数据包洪水攻击，它通常使用
Internet控制报文协议（ICMP）包或是UDP包。

在最简单的形式下，这些攻击都是使服务器或网络的负载过重，这意味着黑客的网络速度必须比目标的网络速度要快。

使用UDP包的优势是不会有任何包返回到黑客的计算机。

而使用ICMP包的优势是黑客能让攻击更加富于变化，发送有缺陷的包会搞乱并锁住受害者的网络。

目前流行的趋势是黑客欺骗目标服务器，让其相信正在受到来自自身的洪水攻击。

2．磁盘攻击
这是一种更残忍的攻击，它不仅仅影响目标计算机的通信，还破坏其硬件。

伪造的用户请求利用写命令攻击目标计算机的硬盘，让其超过极限，并强制关闭。

这不仅仅是破坏，受害者会遭遇不幸，因为信息会暂时不可达，甚至丢失。

3．路由不可达
通常，DoS攻击集中在路由器上，攻击者首先获得控制权并操纵目标机器。

当攻击者能够更改路由器的路由表条目的时候，会导致整个网络不可达。

这种攻击是非常阴险的，因为它开始出现的时候往往令人莫名其妙。

毕竟，你的服务器会很快失效，而且当整个网络不可达，还是有很多原因需要详审的。

4．分布式拒绝服务攻击
最有威胁的攻击是分布式拒绝服务攻击（DDoS）。

当很多堡垒主机被感染，并一起向你的服务器发起拒绝服务攻击的时候，你将伤痕累累。

繁殖性攻击是最恶劣的，因为攻击程序会不通过人工干涉蔓延。

Apache服务器特别容易受攻击，无论是对分布式拒绝服务攻击还是隐藏来源的攻击。

为什么呢？因为Apache服务器无处不在。

在万维网上分布着无数的Apache服务器，因此为Apache定制的病毒（特别是SSL蠕虫）潜伏在许多主机上；带宽如今已经非常充裕，因此有很多的空间可供黑客操纵。

蠕虫攻击利用服务器代码的漏洞，通过SSL握手将自己安装在Apache服务器上。

黑客利用缓冲溢出将一个伪造的密钥安装在服务器上（适用于运行低于0.9.6e版本的OpenSSL的服务器）。

攻击者能够在被感染的主机上执行恶意代码，在许多这样的病毒作用下，下一步就是对特定的目标发动一场浩大的分布式拒绝服务攻击了。

通过将这样的蠕虫散播到大量的主机上，大规模的点对点攻击得以进行，对目标计算机或者网络带来不可挽回的损失。

二）中传网络应对网络攻击的操作流程：
1.切断网络
所有的攻击都来自于网络，因此，在得知系统正遭受黑客的攻击后，首先要做的就是断开服务器的网络连接，这样除了能切断攻击源之外，也能保护服务器所在网络的其他主机。

2.查找攻击源
可以通过分析系统日志或登录日志文件，查看可疑信息，同时也要查看系统都打开了哪些端口，运行哪些进程，并通过这些进程分析哪些是可疑的程序。

这个过程要根据经验和综合判断能力进行追查和分析。

下面的章节会详细介绍这个过程的处理思路。

3.分析入侵原因和途径
既然系统遭到入侵，那么原因是多方面的，可能是系统漏洞，也可能是程序漏洞，一定要查清楚是哪个原因导致的，并且还要查清楚遭到攻击的途径，找到攻击源，因为只有知道了遭受攻击的原因和途径，才能删除攻击源同时进行漏洞的修复。

4.备份用户数据
在服务器遭受攻击后，需要立刻备份服务器上的用户数据，同时也要查看这些数据中是否隐藏着攻击源。

如果攻击源在用户数据中，一定要彻底删除，然后将用户数据备份到一个安全的地方。

5.重新安装系统
永远不要认为自己能彻底清除攻击源，因为没有人能比黑客更了解攻击程序，在服务器遭到攻击后，最安全也最简单的方法就是重新安装系统，因为大部分攻击程序都会依附在系统文件或者内核中，所以重新安装系统才能彻底清除攻击源。

6.修复程序或系统漏洞
在发现系统漏洞或者应用程序漏洞后，首先要做的就是修复系统漏洞或者更改程序bug，因为只有将程序的漏洞修复完毕才能正式在服务器上运行。

7.恢复数据和连接网络
将备份的数据重新复制到新安装的服务器上，然后开启服务，最后将服务器开启网络连接，对外提供服务。

二、检查并锁定可疑用户
当发现服务器遭受攻击后，首先要切断网络连接，但是在有些情况下，比如无法马上切断网络连接时，就必须登录系统查看是否有可疑用户，如果有可疑用户登录了系统，那么需要马上将这个用户锁定，然后中断此用户的远程连接。

1.登录系统查看可疑用户
通过root用户登录，然后执行“w”命令即可列出所有登录过系统的用户，如下图所示。

通过这个输出可以检查是否有可疑或者不熟悉的用户登录，同时还可以根据用户名以及用户登录的源地址和它们正在运行的进程来判断他们是否为非法用户。

2.锁定可疑用户
一旦发现可疑用户，就要马上将其锁定，例如上面执行“w”命令后发现nobody用户应该是个可疑用户(因为nobody默认情况下是没有登录权限的)，于是首先锁定此用户，执行如下操作：
[root@server ~]# passwd -l nobody
锁定之后，有可能此用户还处于登录状态，于是还要将此用户踢下线，根据上面“w”命令的输出，即可获得此用户登录进行的pid值，操作如下：
[root@server ~]# ps -ef"grep @pts/3
531 6051 6049 0 19:23 ? 00:00:00 sshd: nobody@pts/3
[root@server ~]# kill -9 6051
这样就将可疑用户nobody从线上踢下去了。

如果此用户再次试图登录它已经无法登录了。

3.通过last命令查看用户登录事件
last命令记录着所有用户登录系统的日志，可以用来查找非授权用户的登录事件，而last命令的输出结果来源于/var/log/wtmp文件，稍有经验的入侵者都会删掉/var/log/wtmp以清除自己行踪，但是还是会露出蛛丝马迹在此文件中的。

三、查看系统日志
查看系统日志是查找攻击源最好的方法，可查的系统日志有/var/log/messages、/var/log/secure等，这两个日志文件可以记录软件的运行状态以及远程用户的登录状态，还可以查看每个用户目录下的.bash_history文件，特别是/root目录下的.bash_history文件，这个文件中记录着用户执行的所有历史命令。

四、检查并关闭系统可疑进程
检查可疑进程的命令很多，例如ps、top等，但是有时候只知道进程的名称无法得知路径，此时可以通过如下命令查看：
首先通过pidof命令可以查找正在运行的进程PID，例如要查找sshd进程的PID，执行如下命令：
1 2 [root@server ~]#pidofsshd 13276 12942 4284
然后进入内存目录，查看对应PID目录下exe文件的信息：
1 2 [root@server ~]# ls -al /proc/13276/exe lrwxrwxrwx 1 root root 0 Oct 4 22:09 /proc/13276/exe -> /usr/sbin/sshd
这样就找到了进程对应的完整执行路径。

如果还有查看文件的句柄，可以查看如下目录：
[root@server ~]# ls -al /proc/13276/fd
通过这种方式基本可以找到任何进程的完整执行信息，此外还有很多类似的命令可以帮助系统运维人员查找可疑进程。

例如，可以通过指定端口或者tcp、udp协议找到进程PID，进而找到相关进程：
1 2 3 4 5 6 7 8 9 [root@server ~]# fuser -n tcp 111 111/tcp: 1579 [root@server ~]# fuser -n tcp 25 25/tcp: 2037 [root@server ~]# ps -ef|grep 2037 root 2037 1 0 Sep23 ? 00:00:05 /usr/libexec/postfix/master postfix 2046 2037 0 Sep23 ? 00:00:01 qmgr -l -t fifo -u postfix 9612 2037 0 20:34 ? 00:00:00 pickup -l -t fifo -u root 14927 12944 0 21:11 pts/1 00:00:00 grep 2037
在有些时候，攻击者的程序隐藏很深，例如rootkits后门程序，在这种情况下ps、top、netstat等命令也可能已经被替换，如果再通过系统自身的命令去检查可疑进程就变得毫不可信，此时，就需要借助于第三方工具来检查系统可疑程序，例如前面介绍过的chkrootkit、RKHunter等工具，通过这些工具可以很方便的发现系统被替换或篡改的程序。

五、检查文件系统的完好性
检查文件属性是否发生变化是验证文件系统完好性最简单、最直接的方法，例如可以检查被入侵服务器上/bin/ls文件的大小是否与正常系统上此文件的
大小相同，以验证文件是否被替换，但是这种方法比较低级。

此时可以借助于Linux下rpm这个工具来完成验证，操作如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 [root@server ~]# rpm -Va ....L... c /etc/pam.d/system-auth S.5..... c /etc/security/limits.conf S.5....T c /etc/sysctl.conf S.5....T /etc/sgml/docbook-simple.cat S.5....T c /etc/login.defs S.5..... c /etc/openldap/ldap.conf S.5....T c /etc/sudoers ..5....T c /usr/lib64/security/classpath.security ....L... c /etc/pam.d/system-auth S.5..... c /etc/security/limits.conf S.5.....
c /etc/ldap.conf S.5....T c /etc/ssh/sshd_config
对于输出中每个标记的含义介绍如下：
S 表示文件长度发生了变化
M 表示文件的访问权限或文件类型发生了变化
5 表示MD5校验和发生了变化
D 表示设备节点的属性发生了变化
L 表示文件的符号链接发生了变化
U 表示文件/子目录/设备节点的owner发生了变化
G 表示文件/子目录/设备节点的group发生了变化
T 表示文件最后一次的修改时间发生了变化
如果在输出结果中有“M”标记出现，那么对应的文件可能已经遭到篡改或替换，此时可以通过卸载这个rpm包重新安装来清除受攻击的文件。

不过这个命令有个局限性，那就是只能检查通过rpm包方式安装的所有文件，对于通过非rpm包方式安装的文件就无能为力了。

同时，如果rpm工具也
遭到替换，就不能通过这个方法了，此时可以从正常的系统上复制一个rpm工具进行检测。

三）对文件系统的检查也可以通过chkrootkit、RKHunter这两个工具来完成，。