AhrefsBot是什么？

AhrefsBot是一個(gè)國(guó)外的搜索引擎蜘蛛。不過(guò)對(duì)你的網(wǎng)站來(lái)說(shuō)除了浪費(fèi)資源外，沒(méi)有任何好處。簡(jiǎn)單說(shuō)，AhrefsBot是一個(gè)營(yíng)銷(xiāo)網(wǎng)站的爬取蜘蛛，負(fù)責(zé)分析你網(wǎng)站的鏈接信息，這個(gè)工具對(duì)于國(guó)內(nèi)用戶(hù)來(lái)說(shuō)，沒(méi)有用。

所以，可以禁止AhrefsBot對(duì)你網(wǎng)站，甚至是整個(gè)服務(wù)器的訪問(wèn)

詳細(xì)的介紹你可以查看他們官網(wǎng)的英文解釋。https://ahrefs.com/robot  該網(wǎng)站是一個(gè)國(guó)外的但是有中文版，打開(kāi)中文版顯示如上圖。其介紹為“增加您的搜索流量的工具，研究您的競(jìng)爭(zhēng)對(duì)手并監(jiān)控您的利基市場(chǎng)。Ahrefs會(huì)幫助你去研究為什么你的競(jìng)爭(zhēng)對(duì)手排名這么高，以及你需要采取什么行動(dòng)來(lái)超越他們?！彼詰?yīng)該明白他是做什么的了吧。

怎么封禁AhrefsBot？

如果不需要我們可以屏蔽。他的ip地址還是很多的所以建議用robots.txt屏蔽。屏蔽代碼為：

User-agent: AhrefsBot

Disallow: /

官方公布的AhrefsBot爬蟲(chóng)IP段如下： 

54.36.148.0/24

54.36.149.0/24

54.36.150.0/24

195.154.122.0/24

195.154.123.0/24

195.154.126.0/24

195.154.127.0/24

方法一：阿里云安全組策略直接封AhrefsBot ip段

被AhrefsBot蜘蛛爬取的站服務(wù)器用的阿里云，阿里云后臺(tái)有安全組可以使用，所以直接屏蔽AhrefsBot的IP段，是最簡(jiǎn)單粗暴，效果立竿見(jiàn)影的方法。按照上圖的方法配置，把下面這些ip段全部添加進(jìn)去就行了。

方法二：服務(wù)器安全狗等在服務(wù)器上進(jìn)行封禁

在安全狗上找“網(wǎng)絡(luò)防火墻>超級(jí)黑名單”，添加IP組進(jìn)去，保存即可。如下圖所示：

方法二：使用robots.txt封禁

通常來(lái)說(shuō)，只要是遵循robots規(guī)則的蜘蛛或者爬蟲(chóng)，都可以使用robots.txt來(lái)禁止它爬取。AhrefsBot官方也說(shuō)遵守這個(gè)規(guī)則，不過(guò)實(shí)際上是如果你不是一開(kāi)始就添加了這個(gè)規(guī)則，你都不知道它蜘蛛什么時(shí)候才會(huì)重新爬取你的robots.txt文件來(lái)修改抓取規(guī)則。

對(duì)于單個(gè)網(wǎng)站來(lái)講，直接封IP比較快。如果要添加，規(guī)則如下：

User-agent: AhrefsBot

Disallow: /