如果问题能够再现，那么问题已经解决 80% 了。对于操作系统核心而言，如果有问题的再现方法，那么可以说是已经解决 99% 了。经常遇到的问题是系统可以正常运行一段时间，然后死机。如果不好再现问题，那么只有根据死机现场遗留的东西来进行分析了。
如果系统没有死干净，比如磁盘中断和文件系统是好的，那么也许能有日志信息保留在文件中，不过这样的好运气我是从来没有遇到过的。如果键盘中断还能响应 (按下Num Lock，可以看见键盘小灯亮灭)，那么运气就算是足够好了，这时可以祭出 sysrq 大法，同时按下 Alt-Sysrq-T 获得进程系统堆栈信息，按下 Alt-Sysrq-M 获得内存分配信息，按下 Alt-Sysrq-W 获得当前寄存器信息。
linux/Documentation/sysrq.txt。另外，最好关闭终端的自动 blank 功能，这样系统死的时候至少能从屏幕上看到一些信息。设置方法是：
# echo 1 > /proc/sys/kernel/sysrq
# setterm -blank
这两个设置最好加到系统启动脚本中 (比如 /etc/rc.d/rc.local)，保证每次启动都能得到运行。
如果很不幸，键盘也死悄悄了，(更为不幸的是，这种情况很常见)，那么也不是只有等死一个办法，这时可以用串口终端 (serial console)将系统信息发送
到另一台系统上，这样可以通过对这些信息分析来定位问题。设置方法如下：
准备工作
1. 一台被监视的服务器，一台进行监视工作的PC。
2. 一根串口直连线。
配置
1. 在服务器上，加入一个新的 grub 项目，增加核心参数 "console=ttyS0 console=tty1"，如：
kernel /boot/vmlinuz-2.4.21-9.30AXsmp ro root=LABEL=/1 console=ttyS0
console=tty1
2. 在服务器上，修改 /etc/sysconfig/syslog，加入 klogd 选项 "-c 7"，保证更多内核信息得到输出。如：
KLOGD_OPTIONS="-x -c 7"
3. 重新启动服务器
4. 用串口直连线连接两台机器，测试：
1) 在PC上运行 "cat /dev/ttyS0"，在服务器上运行 "echo hi > /dev/ttyS0"，看在 PC 上是否有 "hi" 输出。
2) 在PC上运行 "cat /dev/ttyS0"，在服务器上运行 "echo w > /proc/sysrq-trigger"，看 PC 上是否有相应内核信息输出。
3) 在PC上运行 "cat /dev/ttyS0"，在服务器上运行 "modprobe loop"，看 PC 上是否有相应内核信息输出。
5. 如果测试通过，那么在 PC 上运行:cat /dev/ttyS0 | tee /tmp/result
另外，也可以用 Windows 超级终端获得串口信息。
that's it.
此外，一些核心支持 LKCD, netdump 等调试功能，也可以一试。
剩下的，就只有靠经验和运气了，一般造成 Linux 系统死机的原因有：
系统硬件问题 (SCSI 卡，主板，RAID 卡，网卡，硬盘...)
外围硬件问题 (终端切换器，网络...)
软件问题
驱动 bug (去找更新的驱动试试)
核心系统 bug (去 LKML 上看看，或换个核心试试)
系统设置
最后，google一把。有时候你可以直接输入 "Linux 系统死机怎么办？"
PE6650 经常死机"，看有没有人遇到过和你同样的问题。即使没有找到，也是一个有助于分析问题的信息，至少说明你的系统可能有和其他人不同之处。
调查 Linux 系统死机问题，这既是科学又是艺术，牵扯到众多的硬件软件知识和经验，是一个不断学习的过程。
标签： linux
