1.經(jīng)常使用到Robots.txt 文件的情況
● 網(wǎng)站升級(jí)，老版本網(wǎng)站的很多頁(yè)面在新版本網(wǎng)站中去掉了，在這種情況下，可以通過(guò)Robots文件 告訴蜘蛛不再抓取這些已經(jīng)被去掉的頁(yè)面。
● 網(wǎng)站存在很多重復(fù)的內(nèi)容，比如一個(gè)網(wǎng)站同時(shí)存在動(dòng)態(tài)頁(yè)面和已經(jīng)經(jīng)過(guò)靜態(tài)化處理的頁(yè)面，這些頁(yè)面在內(nèi)容上都是完全重復(fù)的內(nèi)容，為了解決重復(fù)的問(wèn)題，可以在Robots文件中禁止蜘蛛抓取動(dòng)態(tài)頁(yè)面。
● 網(wǎng)站內(nèi)部有些內(nèi)容不便于公開(kāi)發(fā)布，但是需要允許內(nèi)部查閱。遇到這種情況，可以在Robots中告訴蜘蛛不要抓取。
2. Robots文件的基本寫(xiě)法
User-agent : *
Allow : /cgi-bin/see
Allow : /tmp/hi
Allow : /~joe/look
Disallow : /cgi-bin/
Disallow : /tmp/
Disallow : /~joe/
Allow是允許蜘蛛爬行的頁(yè)面，而Disallow后面則是不允許蜘蛛訪問(wèn)的路徑和文件。
3. Robots的使用示例
(1)僅允許訪問(wèn)某目錄下某個(gè)后級(jí)的文件。這里僅允許訪問(wèn)帶“'s" 符號(hào)的網(wǎng)址，如下。
User-agent: *
Allow : .asp$
Disallow : /
(2)禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面。
這里是限制訪問(wèn)帶“? ”的網(wǎng)址，例如，index.asp?id=1。
User- agent : *
Disallow : /*?*
(3)使用“*”限制訪問(wèn)帶某 個(gè)后綴的域名。
這里是禁止訪問(wèn)admin目錄下所有htm文件，如下。
User- agent :*
Disallow :/admin/* .htm網(wǎng)站式新聞動(dòng)態(tài)
本文地址：http://www.opd.net.cn/article/8156.html
