Email Forums

儘管網頁抓取廣泛流行並被許多企業公開使用，但它仍然是一個有爭議的話題。對某些人來說，它是個人資料收集和濫用的代名詞。同時，其他人認為資料抓取是一種有效的大數據分析工具。 CPRA（加州隱私權法案，2023）等新的政治和法律法規定義了收集和使用線上資料的規則。

同時，企業在Robot.txt 檔案中聲明其資料共享政策，並提供 API 以提高透明度。如果您選擇抓取線上資料並將其用於行銷，則必須遵守這些規則以保持在道德界限之內。未經同意，網路使用者不會接受不相關廣告的轟炸，如果您這樣做，您可能會損害您的商業聲譽。以下是資料抓取之前需要考慮的事項：

A) 公用資料 VS 私人資料
最重要的問題之一是公共資料和私人資料之間的差異。 荷蘭電子郵件列表 當您造訪網站時，您會看到飯店價格、空房狀況、行為政策等公開資訊。此外，即使他們試圖拒絕訪問，您仍然可以收集此類數據，因為這些數據是公開的，但是，這可能會讓您陷入類似瑞安航空 VS PR 航空案件中的訴訟。

數據

收集私人資料是完全不同的事情。如果網站要求您使用使用者名稱和密碼登入才能存取特定信息，那麼使用抓取工具收集這些資訊可能會給您帶來嚴重的法律麻煩。例如，您無法抓取僅適用於註冊人員的使用者設定檔。同樣的邏輯也適用於用戶評論、政府資料庫、圖片、社群媒體貼文等。

忽視這些界限並使用私人資料進行行銷既是非法的，也是極其令人反感的。網路使用者認為這侵犯了他們的隱私。同時，其他企業認為這是不競爭的行為，最終沒有人獲勝。



B) 統計數據 VS 個人數據
同樣重要的是統計數據和個人數據之間的差異。正如您可能已經猜到的那樣，刪除後者跨越了道德界限，並可能導致法律問題。過去十年最大的數據收集醜聞之一——劍橋分析公司——與個人數據收集有關。該公司利用 Facebook 平台中的漏洞收集了超過 8,700 萬個用戶個人資料。

這些數據後來被用來針對他們投放精心製作的政治廣告，以在 2016 年美國總統大選中將他們的政治立場轉向共和黨。兩名舉報人揭露了這些不當行為，引發了一場持續數年的雪崩，而這一極不道德的案件的後果至今仍然可見。劍橋分析公司不久後破產。

儘管抓取個人資料用於行銷可以改善您的產品植入，但風險十倍於效益。使用個人識別資料 (PII) 的公司將因違反 GDPR（一般資料保護規範）和 CCPA（加州消費者隱私法案）規則而面臨巨額罰款。對公司聲譽的損害可能是驚人的。以下是 PII 的列表：

a) 出生日期

b) 名字和姓氏

c) 地址

d) 電話號碼、社會安全號碼及護照號碼

e) 信用卡號碼

f) 醫療數據

g) 婚姻狀況

h) 就業詳情

i) 電子郵件地址

j) IP 位址

一些企業找到了透過匿名化來利用這些數據的方法。在用於分析工具和行銷活動之前，他們會刪除可以識別特定人員的任何個人詳細資訊的資料。這個過程必須完整，因為如果有可能建立真實的個人資料，您將違反法律。一般來說，建議完全不要收集個人資料。

C) 受版權保護的資料
最後，您應該始終尊重受版權保護的資料。受版權保護的業務內容是：

a) 行銷策略

b) 設計佈局

c) 專有軟體

d) 專利

e) 商業機密

f) 商業計劃

g) 客戶記錄

h) 標誌

i) 圖片

抓取此類數據極不具競爭力，如果繼續這樣做，很可能會導致停止令和訴訟。此外，即使這些數據是公開的，您也無法收集這些數據。例如，企業在最明顯的地方使用他們的公司徽標，但如果您以任何方式複製它們，您將違反法律。

D) 如何合乎道德地抓取網路資料？
網路數據

如果您想在抓取線上資料時保持在道德範圍內，有一些簡單的規則。首先，遵循討論的規則並確保您收集的資料是公開的、統計的且不受版權保護。檢查 Robot.txt 檔案以了解網站的政策。有時甚至無法收集公共統計數據並將其用於行銷，儘管限制對公開資料的存取是矛盾的，正如HiQ VS LinkedIn案例所證明的那樣。

抓取資料時尊重網站的效能至關重要。抓取工具會發出數百甚至數千個資訊、拉取請求，這可能會使網站超載並導致網站崩潰。確保您的抓取工具所使用的安全代理不會損害網站的隱私，也不會超出其請求限制並降低效能。請記住，網站所有者有許多工具來檢查傳入流量，如果他們發現您的操作正在損害他們自己的操作，他們就會對您採取行動。

網路抓取也不是檢索大數據的唯一方法。一些商業模式依賴資訊共享。例如，天氣預報機構希望盡可能多地公開他們的研究，而新聞網站則樂意將此類內容整合到其結構中，因為它有用並吸引更多用戶。

在這種情況下，您可以使用API​​（應用程式介面）。它的軟體旨在兩個同意方之間共享數據。您可以與資料所有者討論資訊共享規則，他們可以將您包含在他們的 API 使用者清單中。