【試看】⚙️ 主控台爬蟲:爬取 Google Maps 地標清單、Threads 貼文

Chrome 主控台爬蟲

這是一個簡單、實用,而且 AI 不會主動告訴你的爬蟲方法。

用這個方法,你不需要下載任何軟體,只要在 Chrome 瀏覽器的某個地方執行程式,就可以把網頁上任何你想要的東西抓下來。

就連最難爬的社群媒體都能爬,很酷吧!

 

能抓什麼資料?

應用情境:Google Map 地標清單

當你在 Google Maps 上存了很多想去的餐廳,但 Google Maps 上沒有篩選功能。

你可以用主控台爬蟲,把餐廳的「店名、價格帶、評分、圖片」都爬下來,做成 Google 試算表,就可以很方便的篩選,我要跟朋友去哪間餐廳聚餐。

 

 

應用情境:Threads 年度回顧

如果你是一個很愛發 Threads 的人,可以用主控台爬蟲把過去一年的貼文整理成表格,請 AI 幫你分析,幫自己做一個 Threads 年度回顧。

看看今年都發了什麼主題的廢文,或是哪些貼文按讚數最多,哪些話題最常出現。

學會主控台爬蟲,你不用每一則手動複製貼上,也不用一個一個截圖給 AI 轉文字,一次抓個 100 筆、500 筆都沒問題。

 

 

「主控台爬蟲」是什麼?

主控台爬蟲其實是我自己取的名字,是一個非正式的名稱。

那為什麼這樣叫,是因為用這個方法時,我們執行程式的地方,是在 Chrome 瀏覽器內建的「開發人員工具」裡面的「主控台」。 

 

沒想到瀏覽器裡面竟然也有一個可以寫程式的地方吧! 

 

當我們在這裡貼上一串寫好的爬蟲程式,按 Enter,程式就會開始執行,把你指定的東西抓下來變成表格,比如文字、圖片,甚至超連結,只要你網頁上看得到的東西幾乎都可以抓。

 

什麼時候適合用「主控台爬蟲」?

當你想抓的網頁是屬於「動態網頁」這種比較難爬的網頁類型(比如:社群網站),你又不想花大把時間研究更進階的爬蟲技術,就很適合用「主控台爬蟲」當作簡單的替代方案。

 

💡 快速複習:什麼是「動態網頁」和「靜態網頁」
 

動態網頁指的是「資料」與「網頁」分開下載的網頁。

有點繞口?帶你看畫面。
左邊本來是空白的,等了一下才出現資料,這就是「分開下載」的樣子。
 

 

要判斷這個網頁是動態還是靜態,最簡單的方法,就是在網頁空白處點「右鍵 → 檢視網頁原始碼」,按「Ctrl / Cmd + F」搜尋你想要爬取的某段內容。
 

如果搜尋的到,就是靜態網頁。
如果搜不到,很可能是動態網頁。(幾乎所有社群平台都是動態網頁)

 

💡 快速複習:動態、靜態網頁,跟爬蟲有什麼關係?
 

網頁類型會影響爬取難度和適合的工具。
 

靜態網頁——最好爬。
只要把部分網頁原始碼貼給 AI,請他寫一個 Apps Script 程式就能輕鬆搞定。 


動態網頁——比較麻煩。
標準做法是寫 Python 程式,但對新手來說比較難一點。
 

因此我們先學簡單的「主控台爬蟲」,這招也能輕鬆爬取動態網頁。
唯一的缺點,就是不能設定自動定時爬取,只能手動貼上程式碼才會運行,適合單次任務使用。

 

💡 更多爬蟲介紹請見單元 2-6〈技術方案|爬蟲——看得到就爬得到,3 招實用技巧〉

 

開始實作!
 

學習目標

  • 學會爬取「動態網頁」的資料
  • 熟悉「Chrome 主控台」操作

 

任務情境

  • 🤔 現況:我要去北海道玩,在 Google Map 存了好多餐廳地標,我想用價格來篩選餐廳
  • 😩 痛點:但只能一間一間看,自己筆記餐廳價位
  • 🥳 期待:把餐廳資訊變成 Google 試算表,用篩選器功能排序不同價位的餐廳

 

工具準備

  1. 登入 Google 帳號
  2. 登入 ChatGPT(任何 AI Chat 都可以)
  3. 打開 🔗 北海道美食

 

開始上課

跟著單元影片一起實作吧!(在最上面)

步驟提示

  1. 需求分析:依照「現況、痛點、期待」描述需求
  2. 解法設計:提供「驗收、技術方案、元素範例」
  3. 實作:執行 Apps Script 程式、除錯
  4. 完成:匯入 Google 試算表,使用篩選器功能依照價格排序

 

提示詞範例

# 現況

我在 Google 地圖裡有一個地點清單,我想用價格等資訊來篩選餐廳,我現在只能看過每一間餐廳來做篩選。

# 痛點

這樣非常花時間,沒有效率。

# 期待

我希望這張地點清單可以被整理成一個表格,欄位有店名、評價、價格帶、圖片網址,讓我下載成 CSV 備用。我希望之後可以匯入進 Google 試算表方便我做進一步的篩選。

# 驗收

1. 這份清單總共有 43 個。
2. 欄位共有 4 個,包含店名、評價、價格帶、圖片網址。
3. 下載成 CSV 檔案。

# 技術方案

我希望是一支可以在 Chrome 主控台執行的程式,抓取地點元素,以下是元素範例:

## 元素範例

1.

(請貼上你複製的元素)

2.

(請貼上你複製的元素)

 


Powered by Teachify