YUSIHKHong Kong SEO / GEO

搜尋觀點

User-Agent、Googlebot Smartphone 與 Cloaking：SEO 檢查不能只看瀏覽器畫面

6/7/2026約 9 分鐘閱讀SEO指南ZH
技術 SEOSEO指南Inspect The PathTechnical SEOUser-AgentGooglebot SmartphoneCloaking

普通瀏覽器、SEO Spider 與 Googlebot Smartphone 看到不同內容的示意圖

User-Agent 檢查可以揭露普通瀏覽器看不到的搜尋問題。

Inspect The Path 有兩個很典型的 User-Agent 關卡：先用 Screaming Frog SEO Spider 才看到下一步，再用 Googlebot Smartphone 才看到另一個版本。這不是叫大家做 cloaking，而是提醒 SEO 人員：只用普通瀏覽器看網站，永遠不夠。

今日的網站往往會根據裝置、地區、cookie、登入狀態、User-Agent、JavaScript 執行能力和 CDN 規則回傳不同內容。搜尋引擎看到的版本，可能和你打開 Chrome 看到的版本不同。

甚麼是 User-Agent？

User-Agent 是瀏覽器或 crawler 在請求網頁時送出的識別字串。Googlebot、Bingbot、Facebook crawler、Screaming Frog、GPTBot、ClaudeBot、PerplexityBot 都可能帶有不同 User-Agent。

SEO 檢查會用 User-Agent 做幾件事：

  • 模擬 Googlebot Smartphone 看到的 HTML
  • 模擬 SEO crawler 是否能讀到內鏈和內容
  • 檢查社交 crawler 是否能讀到 OG meta
  • 檢查 AI agent 是否被 robots 或 WAF 阻擋
  • 找出伺服器是否對 crawler 回傳不同狀態碼

Cloaking 的真正風險

Cloaking 是指網站向搜尋引擎呈現和普通用戶明顯不同的內容，意圖操控排名。不是所有 User-Agent 差異都是 cloaking；例如手機版和桌面版排版不同、A/B test、地區語言切換，都可能合理。但如果 Googlebot 看到大量關鍵字頁，而用戶看到完全不同內容，風險就很高。

Inspect The Path 把這個概念變成謎題：同一頁只有在特定 crawler 視角才露出線索。真實網站檢查時，我們不是為了找彩蛋，而是為了確認重要內容沒有隻在某個視角出現或消失。

Mobile-first indexing 要看手機視角

Google 主要以手機版內容作為索引基礎。若桌面版內容完整，但手機版缺少主要文案、內鏈、FAQ、Schema 或圖片 alt，排名可能受影響。

香港企業網站常見問題包括：

  • 手機版隱藏了服務細節，只剩短文案
  • 手機選單沒有收錄全部重要頁
  • 手機載入依賴 JS，但 crawler 初始 HTML 太薄
  • 地區頁或產品頁在手機版缺少內鏈
  • FAQ 或 Schema 只在桌面模板輸出

AI agent 也要納入檢查

GEO / AISEO 時代，除了 Googlebot，也要看 AI agent 能否理解品牌實體、服務範圍、答案型內容和聯絡入口。Agent SEO 檢查不只是「允不允許抓」，而是看它能否在公開內容中讀到足夠清楚的資訊。

你可以先用 Agent SEO 檢測工具 做基礎盤點，再連到 GEO 服務 評估品牌在 AI 答案裏的可見度。

建議檢查方法

  • 用普通瀏覽器看頁面是否完整。
  • 用 SEO crawler 抽查 HTML、title、description、canonical、H1、內鏈。
  • 用 Googlebot Smartphone User-Agent 檢查主要內容是否一致。
  • 用社交 crawler debug OG 預覽。
  • 用 AI agent / robots 策略檢查公開可讀性。
  • 檢查 Vary: User-Agent、快取和 CDN 規則是否造成錯誤版本。

2026 年後還要多看兩件事：Googlebot 身份與 Google Search 的 2MB HTML 邊界

Google Search Central 在 2026 年 3 月 31 日補了兩個很實際的提醒。第一，Google crawler IP range 的 JSON 檔已搬到 developers.google.com/crawling/ipranges/；第二，官方在 Inside Googlebot 說明瞭 Google Search 的 Googlebot 在抓 HTML 時，超過 2MB 的部分會直接被忽略，索引系統和 Web Rendering Service 只處理最先拿到的那一段位元組。這個 2MB 邊界是針對文內說明的抓取情境，不應泛化成所有 Google crawler、社交 crawler 或 AI agent 都共用同一條上限。

這代表技術檢查不能只停在「我把 Googlebot User-Agent 模擬出來了」。如果 WAF、CDN 或 bot policy 還在用舊的 IP 清單，你可能會錯把真 Googlebot 擋在門外；如果 Google Search 要讀取的 HTML 前段塞滿大型 inline script、base64 圖片或過量 JSON，搜尋系統可能連主要文案、canonical 或結構化資料都未讀到。

檢查點 先看甚麼 為甚麼現在要做
Google crawler IP range 伺服器規則、WAF allowlist、bot 驗證腳本是否已改讀 developers.google.com/crawling/ipranges/ 官方已把 JSON 檔搬家，舊 /search/apis/ipranges/ 之後只會過渡性保留；若系統長期不更新，驗證邏輯會愈來愈脆弱。
Googlebot 身份驗證 User-Agent 之外，再看官方 IP range、反向 DNS 與 server log 來源 單看字串很容易被偽裝；先確認來的是不是真 Googlebot，再談後續內容診斷，SOP 會清楚很多。
Googlebot 請求結果 已驗證的 Googlebot 最終收到甚麼狀態碼、HTML、canonical、robots 指令與快取版本 身份驗證和內容診斷是兩步。真實 SEO 問題常出在 bot policy、CDN 防護或快取規則，而不是頁面表面看起來像不像 Googlebot。
Google Search HTML 前 2MB title、description、canonical、主文案、主要內鏈、Schema 是否已在初始 HTML 前段出現 官方說明很直接：在文中這個 Googlebot / Google Search 抓取情境下，超過 2MB 的 HTML bytes 不會再被抓、渲染或索引。把關鍵訊號塞到後段，等於主動增加漏讀風險。
大型 inline 資產 base64 圖片、超長 JSON、追蹤腳本、過量 hydration payload 這些內容最容易把真正重要的 SEO 訊號往後擠。若頁面很重，先減少前段噪音，再談更複雜的 rendering。

若你懷疑問題不只在 User-Agent，而是整條 request / response 鏈都有風險，可延伸看 HTTP Header、Redirect Chain 與 Cookie：技術 SEO 如何讀懂伺服器訊號？。

完整謎題路線可回看 Inspect The Path SEO 解密攻略。

Inspect The Path 對應關卡：兩種 crawler 視角

遊戲裏有兩次明確要求切換 User-Agent：第一次用 Screaming Frog SEO Spider 才看到 /shift-your-perspective；第二次用 Googlebot Smartphone 才看到 /at-the-edge-of-the-mountain。這不是單純炫技，而是技術 SEO 的基本功。

curl -iL -A 'Screaming Frog SEO Spider/20.2' https://inspectthepath.com/unlock-the-path-on-the-move

curl -iL -A 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' https://inspectthepath.com/shift-your-perspective

技術原理：差異不一定是 cloaking，但一定要知道

User-Agent 差異可能有合理理由，例如手機版、桌面版、社交 crawler 預覽、CDN cache、語言自動切換。但若 Googlebot 看到一套內容，用戶看到另一套內容，而且差異會影響排名或轉化，就可能變成 cloaking 風險。

SEO 檢查應該同時看：

  • 普通 Chrome / Safari 的用戶畫面。
  • 初始 HTML 是否已有主要內容。
  • Googlebot Smartphone 是否能看到同等內容。
  • SEO Spider 是否能抓到內鏈、canonical、H1、Schema。
  • Facebook / LinkedIn crawler 是否能讀到 OG。
  • GPTBot、ClaudeBot、PerplexityBot 等 AI agent 是否被 robots / WAF 阻擋。

香港服務頁最常見問題

  • 手機版為了美觀縮短內容，服務細節和 FAQ 消失。
  • 重要內鏈只藏在桌面 mega menu，手機選單沒有。
  • JavaScript 慢，crawler 初始 HTML 只有空殼。
  • CDN 對 bot 回傳不同 cache 版本。
  • 社交分享圖或 OG description 還是舊品牌。
  • WAF 仍用舊 crawler IP 清單，導致真 Googlebot 被額外挑戰。
  • 首屏放太多 inline script 或大型 base64 資產，真正重要的 canonical、主文案和 Schema 被擠到 HTML 後段。

檢查 SOP

先用 Agent SEO 檢測工具 看不同 agent 視角，再把有差異的 URL 丟進 Search Console URL Inspection、Screaming Frog 或 server log。若頁面本身很重，先用 header / log 檢查 bot 是否被錯擋，再檢查 Google Search 要讀的 HTML 前段是否已放好 title、canonical、主文案與 Schema。若你的目標進一步是 AI Overview / Gemini / GPT 等公開答案入口的引用，這已經屬於 YUSIHK 延伸的 GEO 盤點，不是 2026-03-31 兩篇 Google 官方更新本身的結論；可另外接到 GEO 服務 盤點品牌實體和答案型內容。完整流程可回看 Inspect The Path 完整攻略。

想把這套檢查用在自己網站？

如果你的網站剛搬站、改版、轉 static site，或者開始做 GEO / AISEO，最容易出事的往往不是單一關鍵字，而是 URL、canonical、headers、robots、Schema 與內容入口互相打架。你可以先用 YUSIHK 的 SEO 工具中心 做初步檢查，再把網站 URL 發給我們做 SEO / GEO 技術診斷。

參考資料

相關搜尋資訊

延伸閱讀

根據分類、標籤與語言，整理幾篇可以接續閱讀的搜尋資訊。