大部分網站制作者或者網站優化的人對于Robots.txt文件，應該并不陌生。因為在有些情況下，我們并不想讓網站的全部內容都讓搜索引擎收錄。

      比如說一些網站后臺管理目錄、會員隱私信息、沒有價值的網頁、圖片等，我們都不打算讓搜索引擎的蜘蛛爬取。在這種情況下，我們就有必要會用到Robots.txt文件，來與搜索引擎溝通。

      具體的方式是通過在網站根目錄創建名為:robots.txt的文件,你就可以阻止蜘蛛來索引網站的某些內容，如動態的搜索結構頁面404頁面、圖片目錄、登陸頁面等。

      所有的搜索引擎蜘蛛自動在網站根目錄中尋找這個文件，所以你只需創建它并上傳，然后等待蜘蛛來閱讀。

      Robots.txt文件沒有以任何方式來保護你的內容，只是阻止搜索引擎索引。下面，北京海源川匯網絡主要說明下Robots.txt文件的寫法：

1.如果你站點中的所有文件，都可以讓蜘蛛爬取、收錄的話，那么語法這樣寫:

User-agent: *

Disallow:

當然，如果你想網站中全部的文件都可以讓搜索引擎索引的話，你也可以不用寫這個文件。

2.完全禁止搜索引擎來訪的Robots.txt文件寫法:

User-agent: *

Disallow: /

2.1.要禁止掉某個搜索引擎來訪的Robots.txt文件寫法:

User-agent: Googlebot

Disallow: /

3.網站中某個文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:

User-agent: *

Disallow: /admin/

Disallow: /images/

4.禁止Google抓取網站中的圖片文件:

User-agent: Googlebot

Disallow: /*.gif$

到這Robots.txt文件的全部寫法海源川匯已經一一列出，最后海源川匯www.mallcai.com提醒朋友們，Robots是網站與搜索引擎溝通的比較重要的一個方式，一定要熟悉它！