最近一位朋友他的Linux（Centos7）根目录一直100%，也就是系统文件磁盘已经爆满了。虽然通过：df -h， du -sh * 等指令配合使用，发现当前系统任然存在大量可以使用的空间（6.5G可用）。
但是：也发现大量剩余的磁盘空间不清楚怎么丢失了？（系统盘总共50G，只查出来了14G占的，假设系统再占20G，还有16G不知道哪里去了？）
原因：
在linux中，当我们使用rm在linux上删除了大文件，但是，如果有进程打开了这个大文件，却没有关闭这个文件的句柄，那么：linux内核还是不会释放这个文件的磁盘空间，最后造成磁盘空间占用100%，整个系统无法正常运行。
这种情况下，通过df和du命令查找的磁盘空间，两者是无法匹配的，可能df显示磁盘100%，而du查找目录的磁盘容量占用却很小。
遇到这种情况，基本可以断定是某些大文件被某些程序占用了，并且这些大文件已经被删除了，但是对应的文件句柄没有被某些程序关闭，造成内核无法回收这些文件占用的空间。
解决方法
既然知道了原因，解决起来就容易多了，说得简单一点，原因无非是：Linux磁盘空间被未知资源耗尽而已。
如何查找哪些文件被某些程序占用呢？
通过：lsof | grep deleted 指令，查看当前系统句柄未释放情况，命令如下：
lsof（list open files）是一个列出当前系统打开文件的工具。在linux环境下，任何事物都以文件的形式存在，通过文件不仅仅可以访问常规数据，还可以访问网络连接和硬件。
在终端下输入lsof即可显示系统打开的文件，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户才能运行它。
以Centos7为例，如果没有lsof命令，可以手动yum安装即可，命令：yum install lsof
[root@hksrv696 /]# lsof -n | grep deleted
zabbix_ag 1791 zabbix 3wW REG 253,1 4 132502 /var/tmp/zabbix_agentd.pid (deleted)
zabbix_ag 1806 zabbix 3w REG 253,1 4 132502 /var/tmp/zabbix_agentd.pid (deleted)
zabbix_ag 1807 zabbix 3w REG 253,1 4 132502 /var/tmp/zabbix_agentd.pid (deleted)
zabbix_ag 1808 zabbix 3w REG 253,1 4 132502 /var/tmp/zabbix_agentd.pid (deleted)
python 3946 root 14w REG 253,1 0 393228 /tmp/cmflistener-stderr---agent-3916-1532518455-HYSskK.log (deleted)
命令：lsof -n | grep deleted 打印出所有针对已删除文件的读写操作，这类操作是无效的，也正是磁盘空间莫名消失的根本原因。上图只是截了一部份而已！
第一种解决方法：
将当前线程进行重启，关闭线程，从而让句柄释放，释放空间。
最常用的就是kill杀死占用的进程（注意，如果此进程是正常在使用的服务，杀死后更改日志存储位置在重新启动，以免导致影响线上服务）。
第二种解决方法：
找到指定的文件句柄，将当前文件句柄的大小设置为空。
根据当前的业务情况，需要对外提供实时服务，所以频繁重启不适合当前业务场景，那么，只能选择将文件句柄内容置空。文件句柄内容置空，文件的内容大小被置空，释放了磁盘空间，但是，文件句柄并没有释放，可能导致“Too Many File is Open“错误。
lsof
command PID USER PGID FD type DEVICE SIZE NODE NAMECOMMAND：进程的名称
PID：进程标识符
PPID：父进程标识符（需要指定-R参数）
USER：进程所有者
PGID：进程所属组
FD：文件描述符，应用程序通过文件描述符识别该文件。
DEVICE：指定磁盘的名称
SIZE：文件的大小
NODE：索引节点（文件在磁盘上的标识）
NAME：打开文件的确切名称
通过losf 获取当前文件的 PID 和 FD 两个参数：
置空当前的文件内容：
echo > /proc/PID/fd/FD
第三种解决方法：
find查找根下大于800M的文件；找到大的日志文件关闭掉，或者更改到其他磁盘。
find / -size +800M -exec ls -lh {} ;
总结：
如果发现还有大量的文件会标记为deleted，其空间也不会释放。自己就需要去看一下自己的程序或系统环境了，是不是哪里有问题？
