<nobr id="rph3x"></nobr>

<address id="rph3x"><var id="rph3x"><menuitem id="rph3x"></menuitem></var></address> <form id="rph3x"></form>

<address id="rph3x"></address>

<pre id="rph3x"><progress id="rph3x"><track id="rph3x"></track></progress></pre>

    <video id="rph3x"></video>

    <pre id="rph3x"></pre>

      番禺08網絡網店系統是最好的網站建設軟件開發商,網上商城系統, 網上購物系統,網上商店系統,企業網站系統,電子商務系統,b2c系統,電子商務解決方案; 網店系統, 購物系統,優秀的 網上商店系統、 網店軟件、 電子商務系統, 網店建設、 網店制作、 網店軟件定制等服務!
      我們先看看robots.txt是什么,有什么作用?
      發布時間:2012.09.25 新聞來源:08wl 瀏覽次數:

      通過給網站設置適當的robots.txt對Google和百度seo優化的作用是很明顯的。WordPress博客網站也一樣。

      我們先看看robots.txt是什么,有什么作用?

      robots.txt是什么?

      我們都知道txt后綴的文件是純文本文檔,robots是機器人的意思,所以顧名思義,robots.txt文件也就是給搜索引擎蜘蛛這個機器人看 的純文本文件。robots.txt是搜索引擎公認遵循的一個規范文 檔,它告訴Google、百度等搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示,哪些網頁是被禁止收錄的。 搜索引擎蜘蛛 spider(Googlebot/Baiduspider)來訪問你的網站頁面的時候,首先會查看你的網站根目錄下是否有robots.txt文件,如 果有則按照里面設置的規則權限對你網站頁面進行抓取和索引。如淘寶網就通過設置robots.txt屏蔽百度搜索引擎:

      User-agent: Baiduspider
      Disallow: /
      User-agent: baiduspider
      Disallow: /

      robots.txt的作用

      我們了解了什么是robots.txt,那它有什么作用,總體來說,robots.txt文件至少有下面兩方面的作用:

      1、通過設置屏蔽搜索引擎訪問不必要被收錄的網站頁面,可以大大減少因spider抓取頁面所占用的網站帶寬,小網站不明顯,大型網站就很明顯了。

      2、設置robots.txt可以指定google或百度不去索引哪些網址,比如我們通過url重寫將動態網址靜態化為永久固定鏈接之后,就可以通過robots.txt設置權限,阻止Google或百度等搜索引擎索引那些動態網址,從而大大減少了網站重復頁面,對SEO優化起到了很明顯的作用。

      robots.txt的寫法

      關于如何寫robots.txt文件,在下面我們會以WordPress博客來作更具體舉例說明。這里先提示幾點robots.txt寫法中應該注意的地方。如robots.txt文件里寫入以下代碼:

      User-agent: *
      Disallow:
      Allow: /

      robots.txt必須上傳到你的網站根名錄下,在子目錄下無效;

      robots.txt,Disallow等必須注意大小寫,不能變化;

      User-agent,Disallow等后面的冒號必須是英文狀態下的,冒號后面可以空一格,也可以不空格。網上有人說冒號后面必須有空格,其實沒有也是可以的,請看谷歌中文網站管理員博客的設置就是這樣:http://www.googlechinawebmaster.com/robots.txt ;

      User-agent表示搜索引擎spider:星號“*”代表所有spider,Google的spider是“Googlebot”,百度是 “Baiduspider”;

      Disallow:表示不允許搜索引擎訪問和索引的目錄;

      Allow:指明允許spider訪問和索引的目錄,Allow: / 表示允許所有,和Disallow: 等效。

      robots.txt文件寫法舉例說明

      禁止Google/百度等所有搜索引擎訪問整個網站
             

      User-agent: *
      Disallow: /

      允許所有的搜索引擎spider訪問整個網站(Disallow:可以用Allow: /替代)
             

      User-agent: *
      Disallow:

      禁止Baiduspider訪問您的網站,Google等其他搜索引擎不阻止
             

      User-agent: Baiduspider
      Disallow: /

      只允許Google spider: Googlebot訪問您的網站,禁止百度等其他搜索引擎
             

      User-agent: Googlebot
      Disallow:
      User-agent: *
      Disallow: /

      禁止搜索引擎蜘蛛spider訪問指定目錄
        (spider不訪問這幾個目錄。每個目錄要分開聲明,不能合在一起)
             

      User-agent: *
      Disallow: /cgi-bin/
      Disallow: /admin/
      Disallow: /~jjjj/

      禁止搜索引擎spider訪問指定目錄,但允許訪問該指定目錄的某個子目錄
             

      User-agent: *
      Allow: /admin/far
      Disallow: /admin/

      使用通配符星號"*"設置禁止訪問的url
         (禁止所有搜索引擎抓取/cgi-bin/目錄下的所有以".html"格式的網頁(包含子目錄))
             

      User-agent: *
      Disallow: /cgi-bin/*.html

      使用美元符號"$"設置禁止訪問某一后綴的文件
         (只允許訪問以".html"格式的網頁文件。)
             

      User-agent: *
      Allow: .html$
      Disallow: /

      阻止google、百度等所有搜索引擎訪問網站中所有帶有?的動態網址頁面
             

      User-agent: *
      Disallow: /*?*

      阻止Google spider:Googlebot訪問網站上某種格式的圖片
         (禁止訪問.jpg 格式的圖片)
             

      User-agent: Googlebot
      Disallow: .jpg$

      只允許Google spider:Googlebot抓取網頁和.gif格式圖片
         (Googlebot只能抓取gif格式的圖片和網頁,其他格式的圖片被禁止;
                  其他搜索引擎未設置)
             

      User-agent: Googlebot
      Allow: .gif$
      Disallow: .jpg$
      .......

      只禁止Google spider:Googlebot抓取.jpg格式圖片
                 (其他搜索引擎和其他格式圖片沒有禁止)
             

      User-agent: Googlebot
      Disallow: .jpg$

      亚洲精品自拍AⅤ在线,国产在线精品亚洲二区视频,国产在线精品亚洲二区自拍
      鞋業ERP管理系統 專業FLASH系統開發 智泰汽車保養管理系統 紙箱廠生產管理系統 水/電費管理系統 印刷廠生產管理系統 酒店管理系統 手機行業進銷存 番禺網站建設
      網店系統 商城系統 網上商城系統 購物系統 網上購物系統 網絡商城系統 網上開店系統 b2c系統 電子商務系統 外貿網店系統 獨立網店系統 廣州ERP系統 番禺ERP系統
      廣州企業管理系統 廣州網站建設 廣州網站設計 廣州最便建站 南沙網站建設 黃埔網站建設 蘿崗網站建軍 廣州開發區網站建設 廣州軟件開發公司 廣州人事考勤系統 GSD工藝分析系統 白云區網站建設 英德網站建設 英德網站設計 廣東網站建設 英德東華網站建設 英德東華程序開發 清遠網站建設 英德軟件開發公司 英德ERP軟件公司 英德網站SEO優化 廣州網站SEO優化 廣東網站SEO優化 FLASH箱包個性化定制 個性化禮品DIY系統 廣州OA系統開發 人事考勤計件工資系統