2024-04-11
Article outline
架設網站時,我們時常需要建置一個測試站來測試,但我們又希望測試站上的資料不要被搜尋引擎搜尋到,
這時你就可以利用設置 robots.txt 檔案來阻擋搜尋引擎爬取!下面一步一步教你怎麼做:
1. 創建一個 robots.txt 的檔案,命名方式必須為小寫字母 (命名不正確則無效)
2. 設置robots.txt 檔案內容
以下介紹幾種常用的設定方法
a. 允許搜尋引擎爬取所有網站內容
User-agent: *
Disallow:
b. 禁止搜尋引擎爬取所有網站內容
User-agent: *
Disallow: /
c. 禁止搜尋引擎爬取指定檔案
User-agent: *
Disallow: /test.php
Disallow: /contact.php
基本語法介紹:
User-agent: 定義搜尋引擎
Disallow: 指定不想被檢索的目錄或檔案
Allow : 指定可被檢索的目錄或檔案
而我們的目的是想"禁止搜尋引擎爬取所有網站內容",所以選擇 b 的語法複製貼上並儲存
3. 將robots.txt 檔案,放置在網站根目錄裡,直接到 http://yourdomain.com/robots.txt 看看是否正確上傳檔案
若是完成設定並上傳即完成所有設定囉!
如果想要確認 自己的 robots.txt 語法是否正確的話,可使用Google Search Console工具來做測試,參考此處