被百度蜘蛛爬的太猛怎么办？

tiane12 · 发表于 2014-9-17 20:50:13

RT，今天服务器有些卡，查了很久没找到原因，后来看访问日志才发现，百度蜘蛛爬的频率太高了啊。

5分钟内，9200多次请求，浏览器信息：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

查了一下IP，
220.181.108.*
123.125.71.*
两个C短都是百度蜘蛛。

我也不能ban掉它啊，该怎么办？

冚家产 · 发表于 2014-9-17 20:55:27

关机。

贱人就是矫情 · 发表于 2014-9-17 21:11:25

拔掉网线，这样不影响服务器运行。

hiboshi · 发表于 2014-9-17 21:12:34

提示: 作者被禁止或删除内容自动屏蔽

opelnic · 发表于 2014-9-17 22:15:02

你的服务器流量太小还是性能不行？

tiane12 · 发表于 2014-9-17 22:50:41

hiboshi 发表于 2014-9-17 21:12
tracert 过去看看是不是百度的
或者设置 robot 频率

ip138查的是蜘蛛。robot频率是啥？

lightryanking · 发表于 2014-9-17 22:53:35

robot.txt好像对百度不管用吧。。。

tiane12 · 发表于 2014-9-17 22:54:30

opelnic 发表于 2014-9-17 22:15
你的服务器流量太小还是性能不行？

香港10M独服，Q8300，4G内存。

SKIDROW · 发表于 2014-9-17 23:41:12

因为艳红自己采集完之后就会K掉你了……

哎呀 · 发表于 2014-9-18 00:13:40

百度的站长工具里面可以设置蜘蛛抓取次数

		自动登录	找回密码
密码			注册

hiboshi hiboshi 当前离线积分 6033	发表于 2014-9-17 21:12:34 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
hiboshi hiboshi 当前离线积分 6033
	回复支持反对举报

被百度蜘蛛爬的太猛怎么办？

相关帖子

浏览过的版块