很多朋友常問為何Google不來抓取網站資料，這樣是否對網站排名會有影響，網站優化需要讓Google 能順利正常讀取網站資料，才有資格談優化，因此網站中的 robots.txt，需要同意讓Googlebot (Google 的網頁抓取機器人)能讀到新網頁和更新的網頁以將這些網頁添加到 Google 索引中的過程。
除了 robots，網站管理員也應該了解sitemap，藉由sitemap讓 Google 更容易索引網站的資訊，Google 推出sitemap網站地圖服務很久了，但是因為Google提供的sitemap生成器的操作太過複雜，所以使廣大網站有點望塵莫及。今天給大家推薦一個在線工具，你只需要輕點幾下鼠標，就這個做出符合google要求的網站地圖文件。
先給大家看一下這個工具製作出的網站地圖的效果：
html格式：/sitemap.html
XML格： /sitemap.xml
具體操作流程：
第一步：打開網址：http://www.xml-sitemaps.com/index.php
第二步：輸入你的網址信息 比如: /
第三步：點擊下方的「生成網站地圖」按鈕，程序自動轉到一個英文頁面
第四步：稍等一會兒，便會生成四種網站地圖格式的文件
分別是：
sitemap.xml
sitemap.xml.gz
Sitemap.html
urllist.txt
第五步：點擊下載你所需要的網站地圖格式，然後上傳到你的服務器
第六步：登陸Google Webmaster帳戶，提交你的sitemap文件的url
開始行動吧，輕點鼠標擊下，幾分鐘你就可以製作出符合google和yahoo要求的網站地圖文件。
關於提交sitemap
在 Search Console 提交 Sitemap.xml請參考下圖，告知 Google 您在網站上新增或更新了哪些網頁。
Google 官方檢索及索引相關主題總覽
https://developers.google.com/search/docs/advanced/crawling/overview?hl=zh-tw
以下是可能會需要 Sitemap 的情況：
- 網站規模極大：Google 網路檢索器很可能會因此在檢索時遺漏某些新網頁或近期更新的網頁。
- 網站有大量封存的內容網頁，但這些網頁彼此隔離或缺少適當連結：如果網站上的網頁並未適當彼此參照，您可以在 Sitemap 中列出這些網頁，以確保 Google 不會遺漏其中部分網頁。
- 網站才剛建立，幾乎沒有外部連結：Googlebot 和其他網路檢索器是透過網頁層層連結的方式來檢索網頁，因此如果沒有其他網站連往您的網頁，Google 可能找不到這些網頁。
- 網站包含許多互動式多媒體內容 (影片、圖片)，或是顯示在 Google 新聞中：如果網站有 Sitemap，Google 就能在搜尋時視情況考量 Sitemap 提供的額外資訊。
以下是可能「不」需要 Sitemap 的情況：
- 網站規模很「小」：所謂的規模很「小」，指的是網站的網頁數不超過 500 個 (以您認為有需要納入搜尋結果的網頁為準)。
- 網站內部的連結完善：這表示 Google 可以透過首頁的連結找出網站上所有的重要網頁。
- 要顯示在搜尋結果中的媒體檔案 (影片、圖片) 或新聞網頁數量不多：Sitemap 可協助 Google 在您的網站上找出影片和圖片檔或新聞報導，並加以解讀。如果您不需要讓這些內容出現在圖片、影片或新聞搜尋結果中，可能就不需要 Sitemap。