當前位置:双色球开奖走势图2 > 網站優化 > 正文

重庆时时彩开奖网站:robots文件常用的三種基本語法與用法

双色球开奖走势图2 www.rordt.icu 龍騰SEO 2019-04-03 783 0

在網站優化的過程中,有時我們會有一些重要及私密的內容,并不希望這些頁面被搜索引擎蜘蛛抓取,比如后臺的數據、測試階段的網站,還有一種很常見的情況,搜索引擎抓取了大量沒有意義的頁面,如電子商務網站按照各種條件過濾、篩選的頁面等,那么要確保頁面不被抓取需要使用robots文件。

robots

robots.txt是一個純文本文件,我們用來告訴各個搜索引擎網站中不想被蜘蛛抓取或訪問的部分,當蜘蛛訪問一個站點時,它會先檢查該站點是否有robots. txt文件,一般我們放在根目錄下,如果找到,蜘蛛就會根據文件中的內容來確定要抓取的范圍,如果這個文件不存在,那么蜘蛛就會繼續沿著鏈接去抓取,也就是只有要禁止抓取某些內容時,寫robots文件才有意義。

robots.txt通常我們放在站點的根目錄,我們應該都知道根目錄是什么意思,這里不多做解釋,文件名要全部小寫,如果你想查看網站的robots協議,直接在域名后面加上robots.txt回車即可,下面介紹robots的語法。

robots文件的常用語法有3種,分別是 User-agent、Alow、Disallow,下面是具體用法。

(1) User-agent
指定robots.txt中的規則針對哪個搜索引擎蜘蛛,如果針對所有搜索引擎蜘蛛的寫法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正確寫法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名稱也不相同。

(2) Allow
允許蜘蛛抓取某些文件,比如允許蜘蛛訪問網站中的news目錄,正確寫法是:Allow:/news/。
$:表示匹配URL結尾的字符,比如允許蜘蛛抓取以.html為后綴的URL,寫法是:Allow:html$。

(3) Disallow
告訴搜索引擎蜘蛛不要抓取這些文件或目錄,比如禁止蜘蛛抓取/admin/目錄的寫法是:Disallow:/admin/。
而禁止的目錄或文件也要分開寫,每個單獨一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目錄,正確的寫法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

作為一名合格的SEO人員,我們還是要熟練掌握robots.txt的基本語法,現在站長工具也很方便,直接在線通過選項生成robots文件,再傳上根目錄即可。

轉載請注明來自龍騰SEO,本文標題:robots文件常用的三種基本語法與用法
本文地址://www.rordt.icu/content/212.html

標簽:

本文暫時沒有評論,來添加一個吧(●'?'●)

歡迎 發表評論:

關于我

歡迎加我的微信號交流

文章代更新
熱門文章
隨機tag
ag动物狂欢怎么压分技巧 今天三肖包中 河11选五开奖结果走势图 牌九至尊最新版下载 老时时彩历史开奖号码 体彩11选5稳赚不赔方法 棋牌赢钱游戏 时时彩平投1:1盈利技巧 七星彩购买网站 彩票追号计算器 新强时时彩三星开奖号 重庆欢乐生肖全天计划 北京pk10定位胆技巧 pk赛车3码一期计划技巧 玩北京pk10有赢到钱的人吗 pk10前三稳赚技巧公式