cloudflare的五秒盾，影响蜘蛛抓取和收录吗

围观者 · 发表于 2018-2-27 21:16:30

如果网站不想被收录，开着这个五秒盾，可以防止来蜘蛛抓取吗

这样开着，能保证蜘蛛抓取不到内容吗？
因为我听说cloudflare对谷歌和几家大的搜索引擎，有特殊通道，不受五秒盾影响

安之若素 · 发表于 2018-2-27 21:17:32

Robots 不行吗，

hxuf · 发表于 2018-2-27 21:17:04

应该都没有影响只是会影响用户体验

hellfires · 发表于 2018-2-27 21:18:27

提示: 作者被禁止或删除内容自动屏蔽

raingoc · 发表于 2018-2-27 21:25:07

3楼说的这么好为什么不采纳呢

sskdgu · 发表于 2018-2-27 21:27:31

好像受影响的，爬不到了

冻猫 · 发表于 2018-2-27 21:28:04

robots.txt
User-agent: *
Disallow: /

wxchello · 发表于 2018-2-27 21:57:52

想要不想收录很简单，用个便宜的非主流域名后缀加robots，robots防止谷歌收录，便宜非主流域名后缀防止国内搜索引擎收录

		自动登录	找回密码
密码			注册

hellfires hellfires 当前离线积分 20031	发表于 2018-2-27 21:18:27 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽
hellfires hellfires 当前离线积分 20031
	回复举报