经常被百度蜘蛛爬死怎么办?

lovesan · 发表于 2012-3-27 19:30:28

我的linode VPS 768那款从上个月开始就莫名的死机几乎是一个星期死3次以上
试过把nginx的连接数设置小点但跟死机没什么区别不一定什么时候就抽疯谁也上不去
后来在网上弄了个脚本监视请求连接数每20秒写一次记录只留100条这几天发现每次死机后最后一条记录的连接数都非常大今天重启后的记录有700多并发连接数开始以为是被攻击了看了一天的日志让我震惊了...满屏的baidu spider 220.181.108.X那段IP 几乎都是同一时间来的尼玛百度太坑爹了吧一次抓那tc 他来就来了几乎每天都来来了还不收录太让人郁闷了又不敢禁止IP 问过几个站长他们都没有这种情况顶多就100左右并发服务器不会宕掉
我该咋办啊我现在已经哭不出来了同志们帮帮我吧...

失足大叔 · 发表于 2012-3-27 19:52:31

这个真不清楚

baljeans · 发表于 2012-3-29 00:59:33

提示: 作者被禁止或删除内容自动屏蔽

Captain · 发表于 2012-3-29 01:55:43

robot改下，让他禁止采集某个文件夹或者网址

johnnyfu829 · 发表于 2012-3-29 02:58:10

不收录的话直接禁掉好了

xiusha · 发表于 2012-3-29 04:37:31

什么监控脚本，比较感兴趣～～

东广梅 · 发表于 2012-4-1 20:12:03

缓存一下减压。

g600 · 发表于 2012-4-2 14:36:48

前阵子碰到同样的问题，不过我是IIS，于时看了下系统日志，发现是百毒虫子疯狂的在访问一个站的N多乱七八糟的不存的URL，于是修改程序，接管所有错误页，反回404，，百毒虫子马上就退去了。。

G奶 · 发表于 2012-4-26 23:30:11

花钱叫大便D死它

Ruclinux · 发表于 2012-4-26 22:21:03

花钱叫大便D死它

		自动登录	找回密码
密码			注册

baljeans baljeans 当前离线积分 2658	发表于 2012-3-29 00:59:33 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
baljeans baljeans 当前离线积分 2658
	回复支持反对举报

经常被百度蜘蛛爬死怎么办?

相关帖子

浏览过的版块