 |
 我們先看看robots.txt是什么，有什么作用？
發布時間：2012.09.25 新聞來源：08wl 瀏覽次數：
通過給網站設置適當的robots.txt對Google和百度seo優化的作用是很明顯的。WordPress博客網站也一樣。
我們先看看robots.txt是什么，有什么作用？ robots.txt是什么？ 我們都知道txt后綴的文件是純文本文檔，robots是機器人的意思，所以顧名思義，robots.txt文件也就是給搜索引擎蜘蛛這個機器人看 的純文本文件。robots.txt是搜索引擎公認遵循的一個規范文 檔，它告訴Google、百度等搜索引擎哪些網頁允許抓取、索引并在搜索結果中顯示，哪些網頁是被禁止收錄的。 搜索引擎蜘蛛 spider（Googlebot/Baiduspider）來訪問你的網站頁面的時候，首先會查看你的網站根目錄下是否有robots.txt文件，如 果有則按照里面設置的規則權限對你網站頁面進行抓取和索引。如淘寶網就通過設置robots.txt屏蔽百度搜索引擎： User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / robots.txt的作用 我們了解了什么是robots.txt，那它有什么作用，總體來說，robots.txt文件至少有下面兩方面的作用： 1、通過設置屏蔽搜索引擎訪問不必要被收錄的網站頁面，可以大大減少因spider抓取頁面所占用的網站帶寬，小網站不明顯，大型網站就很明顯了。 2、設置robots.txt可以指定google或百度不去索引哪些網址，比如我們通過url重寫將動態網址靜態化為永久固定鏈接之后，就可以通過robots.txt設置權限，阻止Google或百度等搜索引擎索引那些動態網址，從而大大減少了網站重復頁面，對SEO優化起到了很明顯的作用。 robots.txt的寫法 關于如何寫robots.txt文件，在下面我們會以WordPress博客來作更具體舉例說明。這里先提示幾點robots.txt寫法中應該注意的地方。如robots.txt文件里寫入以下代碼： User-agent: * Disallow: Allow: / robots.txt必須上傳到你的網站根名錄下，在子目錄下無效； robots.txt，Disallow等必須注意大小寫，不能變化； User-agent，Disallow等后面的冒號必須是英文狀態下的，冒號后面可以空一格，也可以不空格。網上有人說冒號后面必須有空格，其實沒有也是可以的，請看谷歌中文網站管理員博客的設置就是這樣：http://www.googlechinawebmaster.com/robots.txt ； User-agent表示搜索引擎spider：星號“*”代表所有spider，Google的spider是“Googlebot”，百度是 “Baiduspider”； Disallow:表示不允許搜索引擎訪問和索引的目錄； Allow:指明允許spider訪問和索引的目錄，Allow: / 表示允許所有，和Disallow: 等效。 robots.txt文件寫法舉例說明 禁止Google/百度等所有搜索引擎訪問整個網站 User-agent: * Disallow: / 允許所有的搜索引擎spider訪問整個網站(Disallow:可以用Allow: /替代) User-agent: * Disallow: 禁止Baiduspider訪問您的網站，Google等其他搜索引擎不阻止 User-agent: Baiduspider Disallow: / 只允許Google spider： Googlebot訪問您的網站，禁止百度等其他搜索引擎 User-agent: Googlebot Disallow: User-agent: * Disallow: / 禁止搜索引擎蜘蛛spider訪問指定目錄 (spider不訪問這幾個目錄。每個目錄要分開聲明，不能合在一起) User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /~jjjj/ 禁止搜索引擎spider訪問指定目錄，但允許訪問該指定目錄的某個子目錄 User-agent: * Allow: /admin/far Disallow: /admin/ 使用通配符星號"*"設置禁止訪問的url (禁止所有搜索引擎抓取/cgi-bin/目錄下的所有以".html"格式的網頁(包含子目錄)) User-agent: * Disallow: /cgi-bin/*.html 使用美元符號"$"設置禁止訪問某一后綴的文件 (只允許訪問以".html"格式的網頁文件。) User-agent: * Allow: .html$ Disallow: / 阻止google、百度等所有搜索引擎訪問網站中所有帶有?的動態網址頁面 User-agent: * Disallow: /*?* 阻止Google spider：Googlebot訪問網站上某種格式的圖片 (禁止訪問.jpg 格式的圖片) User-agent: Googlebot Disallow: .jpg$ 只允許Google spider：Googlebot抓取網頁和.gif格式圖片 (Googlebot只能抓取gif格式的圖片和網頁，其他格式的圖片被禁止； 其他搜索引擎未設置) User-agent: Googlebot Allow: .gif$ Disallow: .jpg$ ....... 只禁止Google spider：Googlebot抓取.jpg格式圖片 (其他搜索引擎和其他格式圖片沒有禁止) User-agent: Googlebot Disallow: .jpg$
|