接到同事反馈,有外地服务器业务系统打不开,于是连上去查看。
1、因为最近有几个服务器磁盘空间不足了,所以首先使用 df -h
命令查看磁盘空间使用情况。结果发现卡住了,只能Ctrl + C终止命令。
1 2 3 4 5 6 7 8 9 |
[root@imzcy ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/VolGroup-lv_root 16G 6.4G 8.2G 44% / tmpfs 3.9G 0 3.9G 0% /dev/shm /dev/sda1 485M 37M 423M 9% /boot /dev/sdb1 473G 130G 319G 29% /mnt ^C [root@imzcy ~]# |
2、使用 strace
命令查看下df -h命令执行到哪里的时候出问题了。最后发现是到/mnt/source这个目录时卡住了。
1 2 3 4 5 6 7 |
[root@imzcy ~]# strace df -h 省略上面正常部分内容... statfs("/proc/sys/fs/binfmt_misc", {f_type=0x42494e4d, f_bsize=4096, f_blocks=0, f_bfree=0, f_bavail=0, f_files=0, f_ffree=0, f_fsid={0, 0}, f_namelen=255, f_fr size=4096}) = 0 statfs("/var/lib/nfs/rpc_pipefs", {f_type=0x67596969, f_bsize=4096, f_blocks=0, f_bfree=0, f_bavail=0, f_files=0, f_ffree=0, f_fsid={0, 0}, f_namelen=255, f_frs ize=4096}) = 0 statfs("/mnt/source", ^C <unfinished ...> [root@imzcy ~]# |
3、从/proc/mounts中过滤"/mnt/source"查看是否有这个目录的挂载信息
1 2 3 |
[root@app ~]# cat /proc/mounts |grep /mnt/source 192.168.3.3:/mnt/source /mnt/source nfs4 rw,relatime,vers=4,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,port=0,timeo=600,retrans=2,sec=sys,clientaddr=192.168.3.6,minorversion=0,local_lock=none,addr=192.168.3.3 0 0 [root@app ~]# |
4、根据上面显示挂载信息来开,应该是连接nfs服务器的时候连接不上。ping上面显示的192.168.3.3服务器,发现ping不通。查了这台服务器信息发现使用ssh也连接不上去了。联系机房值班人员,重启了下服务器,服务器起来之后,nfs挂载就自动恢复了。业务也恢复,好吧。。。