公司網站制作爬蟲“黑洞”
日期 : 2020-10-21 18:38:35
爬蟲“黑洞”。爬蟲在搜集藏文網頁的過程中, 必須考慮可能出現的“黑洞”情況。
爬蟲黑洞是指, 在抓取一張網頁的鏈接時, 鏈接本身是一個無限循環, 導致爬蟲抓取時跟著循環, 浪費資源。有時一些URL看起來不同, 但實際指向同一張網頁, 也會使爬蟲陷入重復抓取的境地。
為了避免爬蟲誤入黑洞, 一般采取兩種策略。一是爬蟲回避動態網頁, 因為動態網頁常常會把爬蟲帶入黑洞。識別動態網頁時, 只需要判斷URL中是否出現問題, 含問號的就是動態網頁。二是使用Visited表記錄已經訪問過的URL, 凡是遇到新的URL存在于Visited表, 就放棄對該URL的繼續處理。例如:當遇到a→b→c→d→c→e這樣的環路鏈接, 爬蟲就會掉進去, 反復抓取c、d對應的頁面。使用Visited表, 就能避免這個問題。
爬蟲黑洞是指, 在抓取一張網頁的鏈接時, 鏈接本身是一個無限循環, 導致爬蟲抓取時跟著循環, 浪費資源。有時一些URL看起來不同, 但實際指向同一張網頁, 也會使爬蟲陷入重復抓取的境地。
為了避免爬蟲誤入黑洞, 一般采取兩種策略。一是爬蟲回避動態網頁, 因為動態網頁常常會把爬蟲帶入黑洞。識別動態網頁時, 只需要判斷URL中是否出現問題, 含問號的就是動態網頁。二是使用Visited表記錄已經訪問過的URL, 凡是遇到新的URL存在于Visited表, 就放棄對該URL的繼續處理。例如:當遇到a→b→c→d→c→e這樣的環路鏈接, 爬蟲就會掉進去, 反復抓取c、d對應的頁面。使用Visited表, 就能避免這個問題。
上一篇：公司網站制作招貼設計中的民俗文化
下一篇：公司網站制作邊框的改進
相關文章
精彩導讀
熱門資訊
