深圳SEO優化公司

有什么策略可能提高爬蟲抓取?SEO網站提高爬蟲抓取策略

瀏覽 / 2019-10-08

 

548689.jpg

SEO網站優化SEOER,每天都要時刻關注百度蜘蛛有沒有來抓取網站,抓取了網站哪些內容,沒有抓取網站哪些內容,再沒有抓取的頁面上觀察調整網站的問題。

 
想要提高爬蟲抓取頻率可以從幾個方面著手,簡單介紹提高spider抓取網站的策略。
 
 
提高spider抓取策略有哪些?
 
一、抓取友好性:抓取壓力調配降低對網站的訪問壓力
 
帶寬造成訪問壓力大,會直接影響網站的正常用戶訪問,為了不影響網站的正常用戶訪問,又能讓spider抓取有價值性的頁面。
 
1、IP壓力控制
 
如果一個域名下存在多個IP,或者是多個域名下對應同一個IP,需要根據IP和域名多種條件進行壓力調配控制。也可以在站長平臺中使用壓力反饋工具,人工調配對網站的抓取壓力,這樣spider會優先根據站長的要求進行抓取壓力控制。
 
2、站點的抓取速度
 
如果在同一個站點,抓取速度控制有兩類:第一類,一段時間內的抓取頻率;第二類,一段時間內的抓取流量。同一個站點在不同的時間內抓取的速度是不同的,根據站點的類型來設置。
 
 
 
二、常用抓取返回碼示意
 
1、404:“NOT FOUND”,表示該網頁已經失效,通常在庫中刪除,spider如果發現這條URL是不會抓取的。
 
2、503:“Service Unavailable”,表示該網頁暫時不能訪問。網頁返回503狀態碼,百度spider不會直接刪除這條URL,再訪問多次的情況下,網頁如果恢復正常,就能正常抓取。如果繼續返回503,才會認為是失效鏈接,從庫中刪除。
 
3、403:“Forbidden”, 表示該網頁目前禁止訪問。如果生成的是新的URL,spider是暫時不會抓取,也是會再訪問多次;如果是被收錄的URL,不會直接刪除,短期內同樣反復訪問幾次。如果網頁正常訪問,則正常抓取;如果仍然禁止訪問,那么這條URL也會被認為是失效鏈接,從庫中刪除。
 
4、301:“Moved Permanently”, 表示該網頁重定向到新的URL。如果站點需要更換域名、站點改版的情況下,需要設置301重定向,也可以在站長平臺上網站改版工具提交,有效減少網站的流量損失。
 
 
提高spider抓取策略有哪些?
 
三、多種URL重定向的識別
 
為了讓spider能夠對多種URL重定向的識別,重定向分別有三類:HTTP 30x重定向、Meta refresh重定向和JS重定向。百度目前也支持Canonical標簽。
 
 
 
四、抓取優先級調配
 
想讓搜索引擎抓取網站全部頁面,是沒有百分百的。所以需要在抓取系統設計抓取優先級調配。
 
抓取優先級調配包含:寬度優先遍歷策略、PR優先策略、深度優先遍歷策略等等。根據實際情況結合多種策略使用完善抓取效果。
 
 
 
五、重復URL的過濾
 
網站出現重復的URL過多,會引發被降權。
 
重復頁面可以使用301重定向,在服務器端對標準URL進行定義。把不標準的URL都301重定向到標準的URL上。
 
 
 
六、暗網數據的獲取
 
暗網數據指的是搜索引擎無法抓取的數據。主要因為網站上的數據都在網絡數據庫中,spider很難抓取中獲得完整內容;其次網絡環境和網站本身不符合規范等問題,導致搜索引擎無法抓取。
 
解決暗網數據的問題,可以通過百度站長平臺數據提交的方式來解決。
 
 
 
七、抓取反作弊
 
Spider在抓取過程中會抓取到低質量頁面或者是被黑的頁面。通過分析URL特征、頁面的大小等等原因,完善的抓取反作弊。
 

閱讀"有什么策略可能提高爬蟲抓取?SEO網站提高爬蟲抓取策略"的人還閱讀

下一篇:如何給網站做多維度內容組合?SEO網站多維度內容組合布局特點

11选5任2神号期期必中