大部分網(wǎng)站制作者或者網(wǎng)站優(yōu)化的人對(duì)于Robots.txt文件，應(yīng)該并不陌生。因?yàn)樵谟行┣闆r下，我們并不想讓網(wǎng)站的全部?jī)?nèi)容都讓搜索引擎收錄。

      比如說(shuō)一些網(wǎng)站后臺(tái)管理目錄、會(huì)員隱私信息、沒(méi)有價(jià)值的網(wǎng)頁(yè)、圖片等，我們都不打算讓搜索引擎的蜘蛛爬取。在這種情況下，我們就有必要會(huì)用到Robots.txt文件，來(lái)與搜索引擎溝通。

      具體的方式是通過(guò)在網(wǎng)站根目錄創(chuàng)建名為:robots.txt的文件,你就可以阻止蜘蛛來(lái)索引網(wǎng)站的某些內(nèi)容，如動(dòng)態(tài)的搜索結(jié)構(gòu)頁(yè)面404頁(yè)面、圖片目錄、登陸頁(yè)面等。

      所有的搜索引擎蜘蛛自動(dòng)在網(wǎng)站根目錄中尋找這個(gè)文件，所以你只需創(chuàng)建它并上傳，然后等待蜘蛛來(lái)閱讀。

      Robots.txt文件沒(méi)有以任何方式來(lái)保護(hù)你的內(nèi)容，只是阻止搜索引擎索引。下面，北京海源川匯網(wǎng)絡(luò)主要說(shuō)明下Robots.txt文件的寫法：

1.如果你站點(diǎn)中的所有文件，都可以讓蜘蛛爬取、收錄的話，那么語(yǔ)法這樣寫:

User-agent: *

Disallow:

當(dāng)然，如果你想網(wǎng)站中全部的文件都可以讓搜索引擎索引的話，你也可以不用寫這個(gè)文件。

2.完全禁止搜索引擎來(lái)訪的Robots.txt文件寫法:

User-agent: *

Disallow: /

2.1.要禁止掉某個(gè)搜索引擎來(lái)訪的Robots.txt文件寫法:

User-agent: Googlebot

Disallow: /

3.網(wǎng)站中某個(gè)文件夾不希望讓搜索引擎收錄的Robots.txt文件寫法:

User-agent: *

Disallow: /admin/

Disallow: /images/

4.禁止Google抓取網(wǎng)站中的圖片文件:

User-agent: Googlebot

Disallow: /*.gif$

到這Robots.txt文件的全部寫法海源川匯已經(jīng)一一列出，最后海源川匯www.mallcai.com提醒朋友們，Robots是網(wǎng)站與搜索引擎溝通的比較重要的一個(gè)方式，一定要熟悉它！