搜尋觀點
User-Agent、Googlebot Smartphone 與 Cloaking:SEO 檢查不能只看瀏覽器畫面

User-Agent 檢查可以揭露普通瀏覽器看不到的搜尋問題。
Inspect The Path 有兩個很典型的 User-Agent 關卡:先用 Screaming Frog SEO Spider 才看到下一步,再用 Googlebot Smartphone 才看到另一個版本。這不是叫大家做 cloaking,而是提醒 SEO 人員:只用普通瀏覽器看網站,永遠不夠。
今日的網站往往會根據裝置、地區、cookie、登入狀態、User-Agent、JavaScript 執行能力和 CDN 規則回傳不同內容。搜尋引擎看到的版本,可能和你打開 Chrome 看到的版本不同。
甚麼是 User-Agent?
User-Agent 是瀏覽器或 crawler 在請求網頁時送出的識別字串。Googlebot、Bingbot、Facebook crawler、Screaming Frog、GPTBot、ClaudeBot、PerplexityBot 都可能帶有不同 User-Agent。
SEO 檢查會用 User-Agent 做幾件事:
- 模擬 Googlebot Smartphone 看到的 HTML
- 模擬 SEO crawler 是否能讀到內鏈和內容
- 檢查社交 crawler 是否能讀到 OG meta
- 檢查 AI agent 是否被 robots 或 WAF 阻擋
- 找出伺服器是否對 crawler 回傳不同狀態碼
Cloaking 的真正風險
Cloaking 是指網站向搜尋引擎呈現和普通用戶明顯不同的內容,意圖操控排名。不是所有 User-Agent 差異都是 cloaking;例如手機版和桌面版排版不同、A/B test、地區語言切換,都可能合理。但如果 Googlebot 看到大量關鍵字頁,而用戶看到完全不同內容,風險就很高。
Inspect The Path 把這個概念變成謎題:同一頁只有在特定 crawler 視角才露出線索。真實網站檢查時,我們不是為了找彩蛋,而是為了確認重要內容沒有隻在某個視角出現或消失。
Mobile-first indexing 要看手機視角
Google 主要以手機版內容作為索引基礎。若桌面版內容完整,但手機版缺少主要文案、內鏈、FAQ、Schema 或圖片 alt,排名可能受影響。
香港企業網站常見問題包括:
- 手機版隱藏了服務細節,只剩短文案
- 手機選單沒有收錄全部重要頁
- 手機載入依賴 JS,但 crawler 初始 HTML 太薄
- 地區頁或產品頁在手機版缺少內鏈
- FAQ 或 Schema 只在桌面模板輸出
AI agent 也要納入檢查
GEO / AISEO 時代,除了 Googlebot,也要看 AI agent 能否理解品牌實體、服務範圍、答案型內容和聯絡入口。Agent SEO 檢查不只是「允不允許抓」,而是看它能否在公開內容中讀到足夠清楚的資訊。
你可以先用 Agent SEO 檢測工具 做基礎盤點,再連到 GEO 服務 評估品牌在 AI 答案裏的可見度。
建議檢查方法
- 用普通瀏覽器看頁面是否完整。
- 用 SEO crawler 抽查 HTML、title、description、canonical、H1、內鏈。
- 用 Googlebot Smartphone User-Agent 檢查主要內容是否一致。
- 用社交 crawler debug OG 預覽。
- 用 AI agent / robots 策略檢查公開可讀性。
- 檢查 Vary: User-Agent、快取和 CDN 規則是否造成錯誤版本。
完整謎題路線可回看 Inspect The Path SEO 解密攻略。
Inspect The Path 對應關卡:兩種 crawler 視角
遊戲裏有兩次明確要求切換 User-Agent:第一次用 Screaming Frog SEO Spider 才看到 /shift-your-perspective;第二次用 Googlebot Smartphone 才看到 /at-the-edge-of-the-mountain。這不是單純炫技,而是技術 SEO 的基本功。
curl -iL -A 'Screaming Frog SEO Spider/20.2' https://inspectthepath.com/unlock-the-path-on-the-move
curl -iL -A 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)' https://inspectthepath.com/shift-your-perspective
技術原理:差異不一定是 cloaking,但一定要知道
User-Agent 差異可能有合理理由,例如手機版、桌面版、社交 crawler 預覽、CDN cache、語言自動切換。但若 Googlebot 看到一套內容,用戶看到另一套內容,而且差異會影響排名或轉化,就可能變成 cloaking 風險。
SEO 檢查應該同時看:
- 普通 Chrome / Safari 的用戶畫面。
- 初始 HTML 是否已有主要內容。
- Googlebot Smartphone 是否能看到同等內容。
- SEO Spider 是否能抓到內鏈、canonical、H1、Schema。
- Facebook / LinkedIn crawler 是否能讀到 OG。
- GPTBot、ClaudeBot、PerplexityBot 等 AI agent 是否被 robots / WAF 阻擋。
香港服務頁最常見問題
- 手機版為了美觀縮短內容,服務細節和 FAQ 消失。
- 重要內鏈只藏在桌面 mega menu,手機選單沒有。
- JavaScript 慢,crawler 初始 HTML 只有空殼。
- CDN 對 bot 回傳不同 cache 版本。
- 社交分享圖或 OG description 還是舊品牌。
檢查 SOP
先用 Agent SEO 檢測工具 看不同 agent 視角,再把有差異的 URL 丟進 Search Console URL Inspection、Screaming Frog 或 server log。若目標是 AI Overview / Gemini / GPT 引用,應同時接到 GEO 服務 盤點品牌實體和答案型內容。完整流程可回看 Inspect The Path 完整攻略。
想把這套檢查用在自己網站?
如果你的網站剛搬站、改版、轉 static site,或者開始做 GEO / AISEO,最容易出事的往往不是單一關鍵字,而是 URL、canonical、headers、robots、Schema 與內容入口互相打架。你可以先用 YUSIHK 的 SEO 工具中心 做初步檢查,再把網站 URL 發給我們做 SEO / GEO 技術診斷。
參考資料
- Inspect The Path
- Google Search Central:robots.txt 簡介
- Google Search Central:建立與提交 Sitemap
- Google Search Central:指定 canonical URL
- Google Search Central:分頁與增量載入最佳做法
- Google Search Central:Googlebot 文件
- Google Search Central:Mobile-first indexing
- Google Search Central:重新導向與 Google 搜尋
- Open Graph protocol
- Meta:Sharing for Webmasters
