這是一個簡單、實用,而且 AI 不會主動告訴你的爬蟲方法。
用這個方法,你不需要下載任何軟體,只要在 Chrome 瀏覽器的某個地方執行程式,就可以把網頁上任何你想要的東西抓下來。
就連最難爬的社群媒體都能爬,很酷吧!
當你在 Google Maps 上存了很多想去的餐廳,但 Google Maps 上沒有篩選功能。
你可以用主控台爬蟲,把餐廳的「店名、價格帶、評分、圖片」都爬下來,做成 Google 試算表,就可以很方便的篩選,我要跟朋友去哪間餐廳聚餐。

如果你是一個很愛發 Threads 的人,可以用主控台爬蟲把過去一年的貼文整理成表格,請 AI 幫你分析,幫自己做一個 Threads 年度回顧。
看看今年都發了什麼主題的廢文,或是哪些貼文按讚數最多,哪些話題最常出現。
學會主控台爬蟲,你不用每一則手動複製貼上,也不用一個一個截圖給 AI 轉文字,一次抓個 100 筆、500 筆都沒問題。

主控台爬蟲其實是我自己取的名字,是一個非正式的名稱。
那為什麼這樣叫,是因為用這個方法時,我們執行程式的地方,是在 Chrome 瀏覽器內建的「開發人員工具」裡面的「主控台」。


沒想到瀏覽器裡面竟然也有一個可以寫程式的地方吧!
當我們在這裡貼上一串寫好的爬蟲程式,按 Enter,程式就會開始執行,把你指定的東西抓下來變成表格,比如文字、圖片,甚至超連結,只要你網頁上看得到的東西幾乎都可以抓。
當你想抓的網頁是屬於「動態網頁」這種比較難爬的網頁類型(比如:社群網站),你又不想花大把時間研究更進階的爬蟲技術,就很適合用「主控台爬蟲」當作簡單的替代方案。
💡 快速複習:什麼是「動態網頁」和「靜態網頁」
動態網頁指的是「資料」與「網頁」分開下載的網頁。
有點繞口?帶你看畫面。
左邊本來是空白的,等了一下才出現資料,這就是「分開下載」的樣子。
要判斷這個網頁是動態還是靜態,最簡單的方法,就是在網頁空白處點「右鍵 → 檢視網頁原始碼」,按「Ctrl / Cmd + F」搜尋你想要爬取的某段內容。
如果搜尋的到,就是靜態網頁。
如果搜不到,很可能是動態網頁。(幾乎所有社群平台都是動態網頁)
💡 快速複習:動態、靜態網頁,跟爬蟲有什麼關係?
網頁類型會影響爬取難度和適合的工具。
靜態網頁——最好爬。
只要把部分網頁原始碼貼給 AI,請他寫一個 Apps Script 程式就能輕鬆搞定。
動態網頁——比較麻煩。
標準做法是寫 Python 程式,但對新手來說比較難一點。
因此我們先學簡單的「主控台爬蟲」,這招也能輕鬆爬取動態網頁。
唯一的缺點,就是不能設定自動定時爬取,只能手動貼上程式碼才會運行,適合單次任務使用。
💡 更多爬蟲介紹請見單元 2-6〈技術方案|爬蟲——看得到就爬得到,3 招實用技巧〉

跟著單元影片一起實作吧!(在最上面)
# 現況
我在 Google 地圖裡有一個地點清單,我想用價格等資訊來篩選餐廳,我現在只能看過每一間餐廳來做篩選。
# 痛點
這樣非常花時間,沒有效率。
# 期待
我希望這張地點清單可以被整理成一個表格,欄位有店名、評價、價格帶、圖片網址,讓我下載成 CSV 備用。我希望之後可以匯入進 Google 試算表方便我做進一步的篩選。
# 驗收
1. 這份清單總共有 43 個。
2. 欄位共有 4 個,包含店名、評價、價格帶、圖片網址。
3. 下載成 CSV 檔案。
# 技術方案
我希望是一支可以在 Chrome 主控台執行的程式,抓取地點元素,以下是元素範例:
## 元素範例
1.
(請貼上你複製的元素)
2.
(請貼上你複製的元素)