robots.txt是站長(zhǎng)在做網(wǎng)站優(yōu)化的時(shí)候常用的工具之一，作用就是告訴搜索引擎，那些文件是可以抓取的，那些文件是不讓抓取的。下面就來為大家分享，robots.txt的寫法。

寫Robots之前，我們可以先登錄網(wǎng)站的根目錄，先整理好哪些文件夾不想背搜索引擎爬抓。

然后最后Robots.txt的寫法如下。
# robots.txt
User-agent: *
Allow: /
Disallow: /aspnet_client
Disallow: /bot
Sitemap:http://域名地址.com//sitemap.xml
其中：
Disallow后面的文件夾是禁止搜索引擎抓取的。

然后保存成robots.txt

然后登錄自己的網(wǎng)站ftp，把制作好的robots.txt文件復(fù)制到網(wǎng)站的根目錄即可。

最后登錄百度站長(zhǎng)工具，檢測(cè)是否提交成功，檢測(cè)出robots.txt文件即可。

通常可以利用這些工具來寫Robots。