解决linux打开文件数

lsof |wc -l (lsof pid|wc -l)
1、修改当前 ulimit -n 8192


2. /etc/security/limits.conf 添加
www – nofile 1006154
www 是一个用户，如果是想所有用户生效的话换成 * ，设置的数值与硬件配置有关，别设置太大了。
-----------------------------------------------------------------------------

3. 修改 /etc/rc.local 添加
echo 8061540 > /proc/sys/fs/file-max




解决linux打开文件数1024限制的解决办法
上一篇 / 下一篇 2010-03-03 23:43:04 / 个人分类：linux

查看( 290 ) / 评论( 0 ) / 评分( 0 / 0 )
linux为redhat服务器版本（非个人版），必须设置的内容
----------------------------------------------------------------------------
1、/etc/pam.d/login 添加
session required /lib/security/pam_limits.so
注意看这个文件的注释
2. /etc/security/limits.conf 添加
www – nofile 1006154
www 是一个用户，如果是想所有用户生效的话换成 * ，设置的数值与硬件配置有关，别设置太大了。
-----------------------------------------------------------------------------


3. 修改 /etc/rc.local 添加
echo 8061540 > /proc/sys/fs/file-max
做完3个步骤，就可以了。
补充说明：
/proc/sys/fs/file-max
该文件指定了可以分配的文件句柄的最大数目。如果用户得到的错误消息声明由于打开文件数已经达到了最大值，从而他们不能打开更多文件，则可能需要增加该值。可将这个值设置成有任意多个文件，并且能通过将一个新数字值写入该文件来更改该值。
缺省设置：4096
/proc/sys/fs/file-nr
该文件与 file-max 相关，它有三个值：
已分配文件句柄的数目
已使用文件句柄的数目
文件句柄的最大数目
该文件是只读的，仅用于显示信息。
关于“打开文件数”限制
Linux系统上对每一个用户可使用的系统资源都是有限制的，这是多用户系统必然要采用的一种资源管理手段，试想假如没有这种机制，那么任何一个普通用户写一个死循环程序，用不了多久系统就要“拒绝服务”了。
今天我遇到了tomcat日志报的错误信息”too many open files”，第一意识就想到了是ulimit控制的”open files“限制。然而问题来了。我在/etc/profile里加入了 ulimit -n 4096保存之后，普通用户登录的时候均会收到一条错误信息ulimit: open files: cannot modify limit: Operation not permitted。然后普通用户的open files限制还是默认值1024。
然后开始在互联网上搜索关于ulimit的信息。互联网果然方便，信息铺天盖地。大家也可以搜一下试一下。其中我了解到两个以前不知道的相关内容。
第一个是内核参数　fs.file-max ，影射为 /proc/sys/fs/file-max
第二个是配置文件 /etc/security/limits.con

f
其中大部分的信息中提到 将 /proc/sys/fs
/file-max的值设置为4096和ulimit -n 4096是相同的效果。对此我很怀疑，为什么呢？首先ulimit 是一个普通用户也可以使用的命令，而fs.file-max只有root有权设置。其次，很明显fs.file-max是一个全局的设置，而ulimit 是一个局部的设置，很明显的是不相同的。
带着疑虑，又在网上搜索了许久，未果（实际上是我搜索的关键字不够准确）。
最后终于在内核文档/usr/src/linux/Documentation/sysctl/fs.txt里找到下面一段话：
file-max & file-nr:
The kernel allocates file handles dynamically, but as yet it doesn’t free them again. The value in file-max denotes the maximum number of file-handles that the Linux kernel will allocate. When you get lots of error messages about running out of file handles, you might want to increase this limit.
The three values in file-nr denote the number of allocated file handles, the number of unused file handles and the maximum number of file handles. When the allocated file handles come close to the maximum, but the number of unused file handles is significantly greater than 0, you’ve encountered a peak in your usage of file handles and you don’t need to increase the maximum.
这两段话的大致意思是：
内核动态地分配和释放“file handles”（句柄）。file-max的值是内核所能分配到的最大句柄数。当你收到大量关于句柄用完的错误信息时，你可以需要增加这个值以打破老的限制。
file-nr中的三个值的含意分别是：系统已经分配出去（正在使用）的句柄数，没有用到的句柄数和所有分配到的最大句柄数。当分配出去的句柄数接近 最大句柄数，而“无用的句柄数”大于零时，表明你遇到了一个“句柄”使用高峰，这意为着你不需要增加file-max的值。
看完这段话，相信大家都明白了。file-max是系统全局的可用句柄数。根据我后来又翻查的信息，以及对多个系统的查看求证，这个参数的默认值是跟内存大小有关系的，增加物理内存以后重启机器，这个值会增大。大约1G内存10万个句柄的线性关系。
再回过头来看这两段话，不知道你意识到了没有，文中只提到了file-max的增加，而没有提到了该值的减少。那些在操作ulimit时同时操 作了file-max的哥们儿，估计无一例外地将file-max设置成了4096或者2048。但以似乎也没有因此而导致系统无法打开文件或者建议连 接。（实际上，我将file-max的值设备成256，然后使用shell编写用vi打开500个文件角本运行，并没有得到任何错误信息，查看file- nr的值，系统当前分配的句柄值已经远超过了后面的最大值。所以我猜想对于file-max的任何减少的操作都是毫无意义的，姑且不去管他。实践中需

要减 少file-max的时候总是不多见的。 ）实事证明我犯了一个致命的错误。我测试的时
候使用的是root用户，而当我再次使用普通用户测试的时候，预料中的错误信息出现了：”Too many open files in system”。可见，file-max的减少对系统也是影响力的。前面的结论“所以我猜想对于file-max的任何减少的操作都是毫无意义的”是错误 的。
然后便是/etc/security/limits.conf文件，这个文件很简单，一看就能明白。
于是我按照注释中描述的格式两个两行：
* soft nofile 4096
* hard nofile 4096
恐怖的是，网上居然有人说改了这个设置是需要重启系统的！实在是让人想不通啊，鼎鼎大名的UNIX系统，怎么可能因为这么小小的一个改动就需要 重启系统呢？结果当我再次以普通用户登录的时候，那个”ulimit: open files: cannot modify limit: Operation not permitted”提示没有了，查看ulimit -n，果然已经变成了4096。
linux lsof 修改句柄限制（转）
在Linux下，我们使用ulimit -n 命令可以看到单个进程能够打开的最大文件句柄数量(socket连接也算在里面)。系统默认值1024。
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值，就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢？下面一段小脚本可以帮你查看：
lsof -n |awk ‘{print $2}’|sort|uniq -c |sort -nr|more
在系统访问高峰时间以root用户执行上面的脚本，可能出现的结果如下：
# lsof -n|awk ‘{print $2}’|sort|uniq -c |sort -nr|more
131 24204
57 24244
57 24231
56 24264
其中第一行是打开的文件句柄数量，第二行是进程号。得到进程号后，我们可以通过ps命令得到进程的详细内容。
ps -aef|grep 24204
mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld
哦，原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量，远远底于系统默认值1024。
但是如果系统并发特别大，尤其是squid服务器，很有可能会超过1024。这时候就必须要调整系统参数，以适应应用变化。Linux有硬性限制和软性限制。可以通过ulimit来设定这两个参数。方法如下，以root用户运行以下命令：
ulimit -HSn 4096
以上命令中，H指定了硬性大小，S指定了软性大小，n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096，毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后，系统重启后，又会恢复默认值。如果想永久保存下来，

可以修改.bash_profile文件，可以修改 /etc/profile 把上面命令加到最后。


回答一、

[root@lxadmin nginx]# cat /proc/sys/fs/file-max
8192

文件系统最大可打开文件数
[root@lxadmin nginx]# ulimit -n
1024
程序限制只能打开1024个文件
使用[root@lxadmin nginx]# ulimit -n 8192调整一下
或者永久调整打开文件数 可在启动文件/etc/rc.d/rc.local末尾添加（在/etc/sysctl.conf末尾添加fs.file-max=xxx无效）

ulimit -n 8192

回答二、

Linux内核有时会报告“Too many open files”，起因是file-max默认值（8096）太小。要解决这个问题，可以root身份执行下列命令（或将它们加入/etc/rcS.d/*下的init脚本。）

# echo "65536" > /proc/sys/fs/file-max # 适用于2.2和2.4版内核
# echo "131072" > /proc/sys/fs/inode-max # 仅适用于2.2版内核

回答三、

办法是修改操作系统的打开文件数量限制，方法如下：

1. 按照最大打开文件数量的需求设置系统， 并且通过检查/proc/sys/fs/file-max文件来确认最大打开文件数已经被正确设置。
# cat /proc/sys/fs/file-max
如果设置值太小， 修改文件/etc/sysctl.conf的变量到合适的值。 这样会在每次重启之后生效。 如果设置值够大，跳过下步。
# echo 2048 > /proc/sys/fs/file-max
编辑文件/etc/sysctl.conf，插入下行。
fs.file-max = 8192

2. 在/etc/security/limits.conf文件中设置最大打开文件数， 下面是一行提示：
#
添加如下这行。
* - nofile 8192

这行设置了每个用户的默认打开文件数为2048。 注意"nofile"项有两个可能的限制措施。就是项下的hard和soft。 要使修改过得最大打开文件数生效，必须对这两种限制进行设定。 如果使用"-"字符设定, 则hard和soft设定会同时被设定。
硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。 hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。 只有root用户才能够增加hard限制值。
当增加文件限制描述，可以简单的把当前值双倍。 例子如下， 如果你要提高默认值1024， 最好提高到2048， 如果还要继续增加， 就需要设置成4096。

另外一种情况是在创建索引的时候，也有两种可能，一种是 合并因子太小，导致创建文件数量超过操作系统限制，这时可以修改合并因子，也可以修改操作系统的打开文件数限制；另外一种是合并因子受虚拟机内存的限制，无法调整到更大，而 需要索引的doc 数量又非常的大，这个时候就只能通过修改操作系统的打开文件数限制来解决了。

在此基础上，我还修改了以下一个配置文件
vi /etc/sysctl.conf
添加：
# Dec

rease the time default value for tcp_fin_timeout connection
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Tur
n off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
net.ipv4.tcp_timestamps = 0
然后 service network restart,这些都和TCP sockets有关的优化。

另外需要在 /etc/rc.d/rc.local里添加已使得重启的时候生效。
echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps
因为不是所有的程序都在root下跑的，所有linux有对hard 与soft open files 的区分，普通用户受hard的限制，无论ulimit -n $数值调到多高，都跑不到 /etc/security/limits.conf里nofile的值.

这样的优化后 lsof -p $java_pid|wc -l可以跑到4千以上都不会抛出too many open files。