百度蜘蛛爬蟲訪問壓力太大應(yīng)該怎么辦才能利于seo又能降低壓力

發(fā)布時間：2014-12-29 來源：本站原創(chuàng) 作者：野狼SEO團(tuán)隊(duì) 閱讀：2042次

　　很多個大網(wǎng)站估計(jì)也都遇到過這樣的問題：蜘蛛訪問壓力非常的大，服務(wù)器壓力太大沒有辦法就采取很多操作。但是很多人因?yàn)椴扇〉牟僮鞑磺‘?dāng)而造成網(wǎng)站出現(xiàn)問題。今天我們就先來看看站長平臺上官方給與這個問題的解釋。下邊是站長俱樂部廣州沙龍的一個問答：

　　黃勇：有一天我們有一個網(wǎng)站發(fā)現(xiàn)來了非常多的爬蟲，給服務(wù)器造成了極大的壓力。于是我們緊急屏蔽了所有爬蟲IP和UA?？墒堑纫欢螘r間后，我們解除解禁后，卻發(fā)現(xiàn)恢復(fù)起來非常緩慢，基本上兩個月后才回到了當(dāng)時的水平。大家的站越做越大，肯定會遇到龐大的訪問壓力、抓蟲抓取方面的問題，所以想借此機(jī)會咨詢一下，看在這方面有沒有一個好的解決辦法。

　　王淘：理論上講，站點(diǎn)屏蔽了Baiduspider后的恢復(fù)周期的確比較長，但是有沒有措施就請孫權(quán)講一下了。

　　孫權(quán)：通過封禁UA或IP的方式來拒絕百度蜘蛛，一天以上后果都是非常嚴(yán)重的。就這個問題來說目前沒有快速的方法可以讓你在短時間內(nèi)恢復(fù)。這是站點(diǎn)自身運(yùn)行的一個故障，并不是百度策略上面有什么問題。還有就是，網(wǎng)站在無法訪問期間，很多因子都會受到影響，百度在給網(wǎng)站進(jìn)行綜合打分時會綜合計(jì)算多個因子，所以說，即使是網(wǎng)站訪問恢復(fù)了，但其它因子的負(fù)面影響還在，網(wǎng)站恢復(fù)起來也還是非常困難的。

　　確實(shí)也不難想想一下，訪問壓力過大，很多人想當(dāng)然的就認(rèn)為封禁蜘蛛，不讓爬不就行了么。事實(shí)上這樣的操作并不好，其實(shí)最經(jīng)濟(jì)實(shí)惠的辦法野狼覺得是：增加服務(wù)器投入。有的網(wǎng)站可以臨時性的增加一些流量之類的（例如做了CDN加速的網(wǎng)站），還有一些是可以升級虛擬機(jī)、VPS、獨(dú)立服務(wù)器的配置。這樣方式的投入其實(shí)并沒有多很多，但是效果卻很好?？偙确饨┲脒@種辦法好得多。如果你封了蜘蛛，恢復(fù)需要2個月的話，這兩個月的時間應(yīng)該比增加點(diǎn)服務(wù)器投入要貴得多吧！

　　當(dāng)然，如果訪問確實(shí)很大，可以先使用站長工具的抓取壓力調(diào)整，把壓力調(diào)整到最小，之后不行再加大服務(wù)器投入。在抓取平穩(wěn)服務(wù)器有剩余資源之后，建議恢復(fù)抓取壓力默認(rèn)值，讓蜘蛛自動判斷抓取頻度。