相對地，Robots.txt 是一份純文字檔，放置於網站根目錄，用來告知搜尋引擎哪些頁面可以或不能被抓取。透過適當設定，可以避免重複內容被索引，保護私密頁面不被公開，並節省搜尋引擎資源。

設置方面，Sitemap 可透過網站生成工具或 CMS 外掛自動產生，並提交至 Google Search Console。Robots.txt 的設置需謹慎，一個錯誤的「Disallow」可能會讓整個網站無法被搜尋引擎收錄。正確使用這兩個工具，不僅有助於搜尋引擎理解網站結構，也有助於提升網站的整體曝光率與搜尋排名。