為什么不要搜索引擎看太多的根目錄文件
2016-01-08 10:05:17
11307
一個(gè)網(wǎng)站不是所有的內(nèi)容都要給搜索引擎看的，
每個(gè)網(wǎng)站都有隱私，所以有很多根目錄文件什么的都是禁止搜索引擎索引的，
比如admin文件就要屏蔽搜索引擎，沒有什么壞處，搜索引擎喜歡高質(zhì)量的網(wǎng)頁內(nèi)容，將網(wǎng)站內(nèi)容結(jié)構(gòu)做好，屏蔽哪些低質(zhì)量的沒有用的，對(duì)搜索引擎沒壞處反而有好處。
搜索引擎蜘蛛不斷爬行互聯(lián)網(wǎng)，如果我們網(wǎng)站沒有做出禁止搜索引擎收錄的操作，很容易就會(huì)被搜索引擎收錄 ，禁止搜索引擎收錄網(wǎng)站內(nèi)容方法。
1、設(shè)置搜索引擎和網(wǎng)站之間的協(xié)議，User-agent:*表示和所有搜索引擎協(xié)議適用；Disallow:/表示禁止抓取收錄全站。
2、如果只是禁止某一個(gè)搜索引擎抓取收錄網(wǎng)站的某一個(gè)目錄，比如要禁止百度抓取收錄data目錄，則如圖設(shè)置。
3、保存文件后，把robots.txt文件上傳到服務(wù)器根目錄，即表示搜索引擎和網(wǎng)站之間的協(xié)議生效，可以禁止搜索引擎抓取收錄網(wǎng)站內(nèi)容。
