如何進行實時網絡抓取？

- 從Web抓取開始

Web爬網是指從某些網站提取特定的HTML數據。簡而言之，我們可以將網絡爬蟲視為一個特定的程序，旨在以定向和收集數據的方式抓取網站。但是，我們無法提前獲取包含許多網頁的網站中所有網頁的URL地址。因此，關注我們的是如何從網站獲取所有HTML網頁。

- 通用Web爬蟲算法

從一個名為種子的初始URL列表開始。
訪問這些網址。
從頁面中檢索所需信息。
識別頁面上的所有超鏈接。
將鏈接添加到URL隊列，稱為crawler frontier。
遞歸訪問來自爬網程序邊界的URL。

如何抓取網站

- 構建Web爬蟲的兩個主要步驟

要構建Web爬網程序，必須執行的步驟是下載Web頁面。這并不容易，因為應考慮許多因素，例如如何更好地利用本地帶寬，如何優化DNS查詢，以及如何通過合理分配Web請求來釋放服務器中的流量。我們獲取Web后頁面，HTML頁面的復雜性分析緊隨其后。事實上，我們無法直接獲取所有HTML網頁。此處還有另一個問題，即如何在動態網站的任何地方使用AJAX時檢索由Javascript生成的內容。此外，互聯網上頻繁出現的蜘蛛陷阱會產生無數次請求或導致構造不良的爬蟲崩潰。

雖然在構建網絡爬蟲時我們應該注意很多事情，但是，在大多數情況下，我們只想為特定網站創建一個抓取工具，而不是像Google抓取工具那樣構建一個通用網站。因此，我們最好對目標網站的結構進行深入研究，并選擇一些有價值的鏈接進行跟蹤，以防止冗余或垃圾網址的額外成本。更重要的是，如果我們能夠找到關于Web結構的正確爬行路徑，我們可以嘗試僅按照預定義的順序從目標網站抓取我們感興趣的內容。

例如，如果我們要抓取內容mindhack.cn，我們發現了兩種我們感興趣的頁面：

1.文章列表，例如主頁面，或帶有/ page / \ d + /等的URL。

通過檢查Firebug，我們可以發現每篇文章的鏈接都是h1下的“標簽”。

2.文章內容，例如/ 2008/09/11 / machine-learning-and-ai-resources /，其中包括完整的文章內容。

因此，我們可以從主頁面開始，并從入口頁面檢索其他鏈接 - wp-pagenavi。具體來說，我們需要定義一個路徑：我們只關注下一頁，這意味著我們可以從頭到尾遍歷所有頁面，并且可以從重復判斷中解脫出來。然后，列表頁面中的具體文章鏈接將是我們要存儲的URL。

- 一些爬行技巧