欧美精品免费观看二区/在线观看av/粉嫩国产精品14xxxxx/亚洲精品视频在线观看免费

robots.txt的功能分很多，我們如果合理運用好，對網站的幫助是起很大作用的。接下來我們來介紹一些比較常用的功能。
　　一、 利用robots.txt來限制網頁快照
　　很多搜索引擎都提供一個網頁快照的功能。但是網頁快照功能卻有很多的弊端，例如事實內容在網頁快照中更新不及時、索引網頁快照浪費大量的服務器資源等。因此，我們有些時候可能并不需要搜索引擎來索引我們某個頁面的網頁快照。
　　解決這樣問題的辦法很簡單，只需要在你的網頁元標記中(和之間)放置如下的一段代碼。
　　以上的一段代碼限制了所有的搜索引擎建立你的網頁快照。如果我們需要僅僅限制一個搜索引擎建立快照的話，就可以像如下這樣去寫
　　需要注意的是，這樣的標記僅僅是禁止搜索引擎為你的網站建立快照，如果你要禁止搜索引擎索引你的這個頁面的話，請參照后面的辦法。
　　二、禁止搜索引擎抓取網頁頁面
　　在SEO中，禁止搜索引擎抓取本頁面或者是允許搜索引擎抓取本頁面是經常會用到的。因為網頁有一些是我們不需要用來參加關鍵詞排名的，所以可以屏蔽掉。為了讓搜索引擎禁止抓取本頁面，我們一般的做法是在頁面的元標記中加入如下的代碼：　
　　在 這里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，在這里我們也可以特指某個搜索引擎，例如META NAME=”Googlebot”、META NAME=”Baiduspide”、META NAME=”www.wyjwz.com”等。content部分有四個命令：index、noindex、follow、nofollow，命令間以英文的“,”分隔。
　　INDEX命令：告訴搜索引擎抓取這個頁面
　　FOLLOW命令：告訴搜索引擎可以從這個頁面上找到鏈接，然后繼續訪問抓取下去。
　　NOINDEX命令：告訴搜索引擎不允許抓取這個頁面
　　NOFOLLOW命令：告訴搜索引擎不允許從此頁找到鏈接、拒絕其繼續訪問。