搜尋觀點

User-Agent、Googlebot Smartphone 與 Cloaking:SEO 檢查不能只看瀏覽器畫面

普通瀏覽器、SEO Spider 與 Googlebot Smartphone 看到不同內容的示意圖

User-Agent 檢查可以揭露普通瀏覽器看不到的搜尋問題。

Inspect The Path 有兩個很典型的 User-Agent 關卡:先用 Screaming Frog SEO Spider 才看到下一步,再用 Googlebot Smartphone 才看到另一個版本。這不是叫大家做 cloaking,而是提醒 SEO 人員:只用普通瀏覽器看網站,永遠不夠。

今日的網站往往會根據裝置、地區、cookie、登入狀態、User-Agent、JavaScript 執行能力和 CDN 規則回傳不同內容。搜尋引擎看到的版本,可能和你打開 Chrome 看到的版本不同。

甚麼是 User-Agent?

User-Agent 是瀏覽器或 crawler 在請求網頁時送出的識別字串。Googlebot、Bingbot、Facebook crawler、Screaming Frog、GPTBot、ClaudeBot、PerplexityBot 都可能帶有不同 User-Agent。

SEO 檢查會用 User-Agent 做幾件事:

  • 模擬 Googlebot Smartphone 看到的 HTML
  • 模擬 SEO crawler 是否能讀到內鏈和內容
  • 檢查社交 crawler 是否能讀到 OG meta
  • 檢查 AI agent 是否被 robots 或 WAF 阻擋
  • 找出伺服器是否對 crawler 回傳不同狀態碼

Cloaking 的真正風險

Cloaking 是指網站向搜尋引擎呈現和普通用戶明顯不同的內容,意圖操控排名。不是所有 User-Agent 差異都是 cloaking;例如手機版和桌面版排版不同、A/B test、地區語言切換,都可能合理。但如果 Googlebot 看到大量關鍵字頁,而用戶看到完全不同內容,風險就很高。

Inspect The Path 把這個概念變成謎題:同一頁只有在特定 crawler 視角才露出線索。真實網站檢查時,我們不是為了找彩蛋,而是為了確認重要內容沒有隻在某個視角出現或消失。

Mobile-first indexing 要看手機視角

Google 主要以手機版內容作為索引基礎。若桌面版內容完整,但手機版缺少主要文案、內鏈、FAQ、Schema 或圖片 alt,排名可能受影響。

香港企業網站常見問題包括:

  • 手機版隱藏了服務細節,只剩短文案
  • 手機選單沒有收錄全部重要頁
  • 手機載入依賴 JS,但 crawler 初始 HTML 太薄
  • 地區頁或產品頁在手機版缺少內鏈
  • FAQ 或 Schema 只在桌面模板輸出

AI agent 也要納入檢查

GEO / AISEO 時代,除了 Googlebot,也要看 AI agent 能否理解品牌實體、服務範圍、答案型內容和聯絡入口。Agent SEO 檢查不只是「允不允許抓」,而是看它能否在公開內容中讀到足夠清楚的資訊。

你可以先用 Agent SEO 檢測工具 做基礎盤點,再連到 GEO 服務 評估品牌在 AI 答案裏的可見度。

建議檢查方法

  • 用普通瀏覽器看頁面是否完整。
  • 用 SEO crawler 抽查 HTML、title、description、canonical、H1、內鏈。
  • 用 Googlebot Smartphone User-Agent 檢查主要內容是否一致。
  • 用社交 crawler debug OG 預覽。
  • 用 AI agent / robots 策略檢查公開可讀性。
  • 檢查 Vary: User-Agent、快取和 CDN 規則是否造成錯誤版本。

完整謎題路線可回看 Inspect The Path SEO 解密攻略

Inspect The Path 對應關卡:兩種 crawler 視角

遊戲裏有兩次明確要求切換 User-Agent:第一次用 Screaming Frog SEO Spider 才看到 /shift-your-perspective;第二次用 Googlebot Smartphone 才看到 /at-the-edge-of-the-mountain。這不是單純炫技,而是技術 SEO 的基本功。

curl -iL -A 'Screaming Frog SEO Spider/20.2' https://inspectthepath.com/unlock-the-path-on-the-move
curl -iL -A 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' https://inspectthepath.com/shift-your-perspective

技術原理:差異不一定是 cloaking,但一定要知道

User-Agent 差異可能有合理理由,例如手機版、桌面版、社交 crawler 預覽、CDN cache、語言自動切換。但若 Googlebot 看到一套內容,用戶看到另一套內容,而且差異會影響排名或轉化,就可能變成 cloaking 風險。

SEO 檢查應該同時看:

  • 普通 Chrome / Safari 的用戶畫面。
  • 初始 HTML 是否已有主要內容。
  • Googlebot Smartphone 是否能看到同等內容。
  • SEO Spider 是否能抓到內鏈、canonical、H1、Schema。
  • Facebook / LinkedIn crawler 是否能讀到 OG。
  • GPTBot、ClaudeBot、PerplexityBot 等 AI agent 是否被 robots / WAF 阻擋。

香港服務頁最常見問題

  • 手機版為了美觀縮短內容,服務細節和 FAQ 消失。
  • 重要內鏈只藏在桌面 mega menu,手機選單沒有。
  • JavaScript 慢,crawler 初始 HTML 只有空殼。
  • CDN 對 bot 回傳不同 cache 版本。
  • 社交分享圖或 OG description 還是舊品牌。

檢查 SOP

先用 Agent SEO 檢測工具 看不同 agent 視角,再把有差異的 URL 丟進 Search Console URL Inspection、Screaming Frog 或 server log。若目標是 AI Overview / Gemini / GPT 引用,應同時接到 GEO 服務 盤點品牌實體和答案型內容。完整流程可回看 Inspect The Path 完整攻略

想把這套檢查用在自己網站?

如果你的網站剛搬站、改版、轉 static site,或者開始做 GEO / AISEO,最容易出事的往往不是單一關鍵字,而是 URL、canonical、headers、robots、Schema 與內容入口互相打架。你可以先用 YUSIHK 的 SEO 工具中心 做初步檢查,再把網站 URL 發給我們做 SEO / GEO 技術診斷

參考資料