《DevOps故障排除》笔记
故障排除的最佳实践、服务器为什么这么慢、为什么系统无法启动、为什么磁盘无法写入、服务器宕机了、为什么主机名无法解析、为什么无法收发邮件、网站宕机了、为什么数据库这么慢、硬件问题
1、服务器为什么这么慢
服务器慢，可以从CPU、RAM、磁盘I/O、网络中查找原因。
CPU：uptime 如果单CPU系统的平均负载是4，那么这个系统处于它可承受负载能力的4倍，所以3/4的进程都在等待资源。
影响负载的原因分析：CPU密集型、RAM密集型、I/O密集型
查看进程的具体资源使用情况：top -b -n 1|tee output.txt
TOP排序选择：
iostat 查看IO被谁占领了
iostat 2 每两秒看到一次输出
iotop 查看每个进程的IO使用情况
安装sysstat，并开启，软件会每十分钟自己记录一次系统状态并保存
查看每个CPU的详细情况：sar -P
查看内存信息：sar -r
查看磁盘统计信息：sar -b
查看当天某个时间段的统计统计信息：sar -s 20：00：00 -e 20:30:00
查看本月第6天的统计信息：sar -f /var/log/sysstat/sa06
2、为什么系统无法启动
BIOS启动会检测：硬盘驱动器、USB磁盘、CD-ROM、网卡及其他硬件
/etc/init.d 包含在所有运行等级中都会启动的脚本
/etc/rc0.d~rc6.d
/etc/rc.local
3、为什么磁盘无法写入
df -h 查看磁盘
tune2fs -l /dev/sda1|grep -i "block count" 查看保留区块大小
du -ckx|sort -n 查看哪个目录占用空间多
df -i 查看节点使用情况
mount 查看文件系统是否只读
修复文件系统： umount /dev/sdb2; fsck -y -c /dev/sdb2
每5秒运行一次cat: watch -n 5 "cat /proc/mdstat"
4、服务器宕机了
dns：nslookup www.baidu.com
如果ICMP包被限制了，则traceroute替换成tcptraceroute
iftop 查看网络使用情况
抓包：
tcpdump -n
tcpdump -n host web1
tcpdump -n not host web1
tcpdump -n port 53
tcpdump -n port 53 or port 80
5、为什么主机名无法解析
清空DNS缓存：/etc/init.d/nsdc restart
6、为什么无法接收邮件
7、网站宕机了
curl -w "%{http_code} %{time_total} %{size_download} %{content_type}"
web状态马：
2xx：成功
3xx:重定向状态马
4xx:客户端错误状态马
5xx:服务端错误状态马
apache服务器状态模块：LoadModule status_module /usr/lib/apache2/modules/mod_status.so
NGINX状态马:http://www.xxx.com/server-status?auto
nginx -t 检查语法
9、为什么数据库这么慢
mysqladmin -u root -p status
mysqladmin -u root -p processlist
