MJJ论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

12
返回列表 发新帖
楼主: naohion

屏蔽百毒爬虫百毒还是一堆搜索结果怎么办

[复制链接]
发表于 2021-5-6 14:52:14 | 显示全部楼层
如果不是伪装的蜘蛛,那也没办法,本来 国内的搜索引擎就很流氓,从不看
robots.txt

比如 今日头条 ,你全屏蔽了它蜘蛛也每天来
发表于 2021-5-6 14:57:22 | 显示全部楼层
naohion 发表于 2021-5-6 14:43
等了一周它还在爬我新文章,而且排名很高,都想把域名卖了

我记得我有个站几个月了才更新。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|MJJ论坛

Copyright MJJ论坛 © 2022 All Rights Reserved.

快速回复 返回顶部 返回列表