robots.txt checker
檢查搜尋引擎與 AI crawler 是否可讀取網站
輸入 robots.txt 後會顯示 Sitemap、User-agent、AI bot 規則與指定 URL 抓取判斷。
robots.txt 對 SEO 的重點
robots.txt 不是用來做索引保證，而是控制 crawler 是否可以抓取。重要服務頁、分類頁與 blog 文章不應被Disallow 誤傷；Sitemap 入口則能幫 Google、Bing 與 AI crawler 更快發現內容。
如果網站正在做 GEO 或 Agent SEO，建議同時確認 GPTBot、ClaudeBot、Google-Extended、PerplexityBot 等 AI crawler 的存取策略。