一个新站，这是不是百度蜘蛛在爬

mha

柳逸寒

关站保平安啊老哥

mha

柳逸寒 发表于 2021-4-12 13:35
关站保平安啊老哥

为什么要关呢

怪人

采集loc么

流交机主球全

在采论坛帖子吗

mha

流交机主球全 发表于 2021-4-12 13:39
在采论坛帖子吗

没，只是截图伪装用hostloc域名

aRNoLD

1. 
   
2.     # 屏蔽非正能量蜘蛛爬虫
   
3. 
   
4.     if ($http_user_agent ~* (LieBaoFast|UCBrowser|Mb2345Browser|SEMrushBot|360Spider|百度之流全写这里……) ) {  
   
5.    
   
6.         return 403;
   
7.    
   
8.     }
   

复制代码

我一般是这样处理这些不顺眼的蜘蛛的。

nginx代码