當前位置:双色球开奖走势图2 > 網站優化 > 正文

七星彩开奖直播:robots文件常用的三種基本語法與用法

双色球开奖走势图2 www.rordt.icu 龍騰SEO 2019-04-03 580 0

在網站優化的過程中,有時我們會有一些重要及私密的內容,并不希望這些頁面被搜索引擎蜘蛛抓取,比如后臺的數據、測試階段的網站,還有一種很常見的情況,搜索引擎抓取了大量沒有意義的頁面,如電子商務網站按照各種條件過濾、篩選的頁面等,那么要確保頁面不被抓取需要使用robots文件。

robots

robots.txt是一個純文本文件,我們用來告訴各個搜索引擎網站中不想被蜘蛛抓取或訪問的部分,當蜘蛛訪問一個站點時,它會先檢查該站點是否有robots. txt文件,一般我們放在根目錄下,如果找到,蜘蛛就會根據文件中的內容來確定要抓取的范圍,如果這個文件不存在,那么蜘蛛就會繼續沿著鏈接去抓取,也就是只有要禁止抓取某些內容時,寫robots文件才有意義。

robots.txt通常我們放在站點的根目錄,我們應該都知道根目錄是什么意思,這里不多做解釋,文件名要全部小寫,如果你想查看網站的robots協議,直接在域名后面加上robots.txt回車即可,下面介紹robots的語法。

robots文件的常用語法有3種,分別是 User-agent、Alow、Disallow,下面是具體用法。

(1) User-agent
指定robots.txt中的規則針對哪個搜索引擎蜘蛛,如果針對所有搜索引擎蜘蛛的寫法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正確寫法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名稱也不相同。

(2) Allow
允許蜘蛛抓取某些文件,比如允許蜘蛛訪問網站中的news目錄,正確寫法是:Allow:/news/。
$:表示匹配URL結尾的字符,比如允許蜘蛛抓取以.html為后綴的URL,寫法是:Allow:html$。

(3) Disallow
告訴搜索引擎蜘蛛不要抓取這些文件或目錄,比如禁止蜘蛛抓取/admin/目錄的寫法是:Disallow:/admin/。
而禁止的目錄或文件也要分開寫,每個單獨一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目錄,正確的寫法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

作為一名合格的SEO人員,我們還是要熟練掌握robots.txt的基本語法,現在站長工具也很方便,直接在線通過選項生成robots文件,再傳上根目錄即可。

轉載請注明來自廈門SEO,本文標題:robots文件常用的三種基本語法與用法
本文地址://www.rordt.icu/content/212.html

標簽:

本文暫時沒有評論,來添加一個吧(●'?'●)

歡迎 發表評論:

關于我

歡迎加我的微信號交流

文章代更新
熱門文章
隨機tag