2024/07

網頁不想被收錄在搜尋引擎中？你可以建立 robots.txt 阻擋搜尋引擎爬取！

架設網站時，我們時常需要建置一個測試站來測試，但我們又希望測試站上的資料不要被搜尋引擎搜尋到，

這時你就可以利用設置 robots.txt 檔案來阻擋搜尋引擎爬取！下面一步一步教你怎麼做：

1. 創建一個 robots.txt 的檔案，命名方式必須為小寫字母 (命名不正確則無效)

2. 設置robots.txt 檔案內容

以下介紹幾種常用的設定方法

a. 允許搜尋引擎爬取所有網站內容

User-agent: *
Disallow:

b. 禁止搜尋引擎爬取所有網站內容

User-agent: *
Disallow: /

c. 禁止搜尋引擎爬取指定檔案

User-agent: *
Disallow: /test.php
Disallow: /contact.php

基本語法介紹：

User-agent: 定義搜尋引擎

Disallow: 指定不想被檢索的目錄或檔案

Allow : 指定可被檢索的目錄或檔案

而我們的目的是想"禁止搜尋引擎爬取所有網站內容"，所以選擇 b 的語法複製貼上並儲存

3. 將robots.txt 檔案，放置在網站根目錄裡，直接到 http://yourdomain.com/robots.txt 看看是否正確上傳檔案

若是完成設定並上傳即完成所有設定囉！

如果想要確認自己的 robots.txt 語法是否正確的話，可使用Google Search Console工具來做測試，參考此處

我們是一家「綜合型」的SEO服務公司，提供技術與內容並存的SEO優化，擁有經驗豐富的網站工程師，加上用心的文案團隊，讓網站成為「專業領域的權威網站」！

立即諮詢