Linux死机问题分析报告定位

一、现象初步判断：

1、判定是否死机：

首先需要确定是否真正的死机了，而往往有些现象被现场误认为是死机了。是否死机的确定方法有如下：

A、对于直接死掉的，没有任何反应的情况下，看看键盘输入是否有效，putty是否能够登

陆，BMC是否能够登录；

B、通过last reboot确认是否死机？死机的时间？

C、通过在messages中对应的时间点看是否有imklog启动的日志？并在这个时间点前是否

收到关机信号或者异常打印？

D、通过在boot.msg中对应时间点有启动的相关记录，并同时查看在boot.omsg中是否有

关机的相关日志打印？

搜索：Shutting down关键字看是否存在关机

2、是否人为操作

出现系统重启现象，往往被认为是系统死机后然后重启的，这就通过重启现象了来认为系统死机过，但是这种系统重启是否是由于死机造成的，需要进行确定。

A、通过同现场人员进行沟通，确认是否为人为的重启？比如按电源、拔电源等人为动作？

B、通过history中查询在系统重启时的时间点附近有reboot或halt、shutdown、init？

C、通过在BMC日志中确认是否有通过BMC的操作进行系统的重启操作？

对于直接拔电源致使系统重启的操作，在messges和boot.omsg中是没有相关的信息记录的，表现为系统日志和业务运行日志在同一时间全部消失。

对于按电源、命令进行重启操作，在messages中能够看到系统收到关机或者重启的信息，同时在boot.omsg中会有关机时的关闭系统服务的关机过程信息。

对于在BMC上直接进行关机或者重启操作，信息记录就比较复杂了。而对于此种情况，在messages中和boot.omsg中是看不到相关的信息记录，同直接拔电源一样的。

二、处理步骤：

1、日志尽快获取：

在现场反馈出现死机问题后，第一时间反馈相关日志，并尽量多尽量准确全面，等待的时间越长日志可能就已覆盖，或清除，或环境重搭，致使定位工作受到阻碍。

A、死机问题发生的时间点

如果发生死机问题时测试或维护人员在场，需反馈死机问题发生的精确时间。

B、死机具体现象描述

死机问题的发生通常伴随着系统和业务方面的异常现象，系统异常包括服务器重启、系统挂死（如BMC黑屏）、系统迟缓（如命令无法执行或响应时间过长）、网络中断（如Ping 检测失败）、登陆失败（如无法远程登陆或卡死在登陆界面）、文件系统异常（如文件只读或系统命令失效）等等；操作失败、超时、执行无返回等。

此外，同样现象的死机问题是否多次出现、出现频率也需要反馈。

C、死机时段具体操作

主要指死机时段内对整个系统（包括硬件和软件）进行的各种操作，包括但不限于对服务器上下电、更换硬件、拔插网线、更改交换机配置、监控及日志查询。

此外还包括死机之前对问题服务器的各种操作，如执行脚本或系统命令、拷贝/删除/修改文件、启动/停止系统服务、挂载本地或远端目录等。

2.组网、硬件和BMC信息反馈

组网、硬件信息有助于定位人员从宏观把握整个系统以及借鉴之前的经验，而内置在服务器中BMC系统收集的信息有时更能为死机问题定位提供直接的依据。

A、组网信息

组网信息主要包括网络规模（服务器、交换机数目）、硬件类型（防火墙、服务器、交换机型号）、网络配置（IP地址规划、交换机配置）、物理连线图等。

B、硬件信息

硬件信息主要包括发生死机的服务器类型（RH2285、E6000、T6000或其它服务器）、CPU 型号与数目、内存大小、本地硬盘容量与数目、BIOS配置等，此外建议信息收集人员尽可能反馈组网内其它服务器、其它设备的硬件信息，便于定位人员横向对比。

服务器各种硬件信息查询如下：

（1）CPU型号与数目

对于管理、存储节点，使用“cat /proc/cpuinfo”命令获得；对于计算节点使用“cat /proc/cpuinfo”仅能获得domain0中的CPU信息，可以通过“xm dmesg”命令查看所有的CPU 信息。

（2）内存大小

对于管理、存储节点，使用“cat /proc/meminfo”命令获得；对于计算节点使用“cat /proc/meminfo”仅能获得domain0中的内存信息，可以通过“xm dmesg”命令查看内存总大小。

（3）本地硬盘容量与数目

本地硬盘容量可以通过“fdisk –l”命令获得，考虑RAID组以及挂载远端磁盘的因素，本地硬盘数目最好通过BMC界面直接查看，在BMC界面，系统信息->系统状态中可以看到硬盘槽位和硬盘状态。

3、BMC信息

BMC是公司自研的RH2285、E6000、T6000等型号服务器内嵌的服务器管理控制单元，能够实现对服务器的多种管理、查询、监控功能，发生死机问题时需要从BMC收集的信息包括（1）BMC系统事件日志

登陆BMC提供的web界面后，查看系统日志事件，反馈死机发生时间点前后一段时间（建议取死机发生前后12小时）的日志截图。

通过ftp方式登陆BMC的文件系统，反馈data目录下的sel.bin文件。

（2）BMC、BIOS版本号

在BMC的web界面，选择系统信息-> 固件版本查询，反馈版本信息：

（3）BMC与OS的时间差

由于BMC和OS使用不同的时间芯片，因此这两者之间可能存在时间差，需要现场人员通过登陆BMC系统和OS进行时间的比对，并截图表示两者之间的时间差异，这样便于定位人员分析BMC日志和OS的日志（时间差）。

三、系统信息

Linux的日志系统能够记录系统的登陆情况、操作记录、异常事件等，多数情况下为系统侧死机问题提供重要的线索，发生死机问题时，建议从系统方面获得如下信息：

1.系统message日志

系统的message日志会记录在cd /var/log/目录下，并根据日志产生时间和日志文件大小压缩备份为“messages-<时间戳>.bz”的形式，请尽可能在反馈全部的日志文件（包括当前日志文件/var/log/messages以及所有的bz压缩文件）。

3、系统boot日志

操作系统能够记录当前和前一次启动时的日志，两次启动记录保存在

/var/log/boot.msg和/var/log/boot.omsg中，请全部反馈。

4、系统登录和使用情况

使用last可以查看系统每次启动的时间点、用户登陆情况等，建议使用：

“last reboot >> last.txt”命令将last命令的执行结果保存为文本文件进行反馈。

5、系统历史操作记录

使用history可以查看系统的历史操作信息，建议使用“history >> history.txt”命令将history命令的执行结果保存为文本文件进行反馈。

6、系统黑匣子记录

系统中提供黑匣子功能收集节点操作系统Crash（如panic、oops、BUG、oom等）时的异常信息，黑匣子功能实现的机制和记录存放位置不同，请注意按照不同的操作系统类型和发